Sa mère, Andrée Gabriel, est chanteuse à l'Opéra de Paris. Dès 5 ans, il entre au conservatoire. Il suit des études d'harmonie, de contrepoint, de fugue et de composition avec Noël Gallon. Il a deux frères : Frederic et Alain Sarde. Philippe Sarde a pour parrains Georges Auric et Noël Gallon. Tout jeune, il s'intéresse également au cinéma et collectionne des bobines de vieux films français oubliés.
À 17 ans, il réalise un court-métrage en noir et blanc et en {{unité}} dont il compose la musique et demande à Vladimir Cosma de l'aider à l'orchestrer. Il hésite alors entre la réalisation cinématographique et la musique. À 18 ans, il rencontre Claude Sautet et lui propose d'écrire la musique de son film Les Choses de la vie. Écrite en un mois seulement pour quelque 70 musiciens, Les Choses de la vie est le premier coup de maître d’un compositeur alors seulement âgé de 20 ans : c'est le début d'une longue carrière.
Sarde est un homme fidèle à certaines valeurs comme l'amitié et, outre Claude Sautet, il va développer une collaboration très suivie avec certains cinéastes, dont André Téchiné, Jacques Doillon, Pierre Granier-Deferre, Georges Lautner, Marco Ferreri, Laurent Heynemann ou Bertrand Tavernier.
Sa personnalité exigeante et son perfectionnisme musical ne connaissent pas (ou peu) de limites et Sarde n'hésite pas à demander aux musiciens ou orchestres les plus renommés de venir travailler sur ses partitions : le saxophoniste Stan Getz (sur Mort d'un pourri), le trompettiste Chet Baker (sur Flic ou Voyou), le violoniste Stéphane Grappelli, le London Symphony Orchestra, etc.
Toujours à la recherche de nouvelles sonorités où le répertoire classique côtoie une écriture contemporaine parfois proche de l'atonalité, la musique de Sarde combine souvent différentes instrumentations assez singulières. À ce titre, sa partition pour le film La Guerre du feu constitue un point d'orgue dans sa filmographie imposante, où il combine deux orchestres, des chœurs, des solistes et des percussions dans un style avant-gardiste.
Le succès de sa musique pour le film Tess et sa proposition pour l'Oscar de la meilleure musique en 1981 lui ouvrent les portes d'Hollywood.
Mais toujours fidèle à son éthique qui lui dicte ses choix professionnels, il mène une carrière timide aux États-Unis, contrairement à ses illustres aînés comme Georges Delerue ou Maurice Jarre.
Depuis plusieurs années, quelque peu déçu par le cinéma français, il a considérablement ralenti sa cadence et n'accepte plus que des projets qui lui tiennent à cœur. Philippe Sarde s'est marié avec Florence Nave en avril 1990, ils divorceront un an plus tard. En 1994, il se marie avec Clotilde Burrer avec qui il aura deux filles : Ponette (née en 1998) et Liza (née en 1999).