Son père Étienne Baudo (1903-2001) était hautboïste, professeur de 1961 à 1973 au Conservatoire national supérieur de musique et de danse de Paris. Il est le neveu du violoncelliste Paul Tortelier. Après des études au conservatoire de Paris où il obtient le premier prix d'harmonie et de direction d'orchestre, Serge Baudo commence sa carrière comme percussionniste aux Concerts Lamoureux.
En 1959, il est à la tête de l'orchestre de la radio de Nice. Il dirige également, à plusieurs reprises, l'orchestre philharmonique de Berlin et l'orchestre de la Scala de Milan sur l'invitation d'Herbert von Karajan. Nommé chef permanent à l'Opéra de Paris en 1962, puis de l'Orchestre de Paris lors de sa fondation en 1967. Entre 1969 et 1987, il est directeur artistique de l'Orchestre national de Lyon. Il y crée le Festival Berlioz. De 2001 à fin 2006, il devient chef et directeur musical de l'Orchestre symphonique de Prague.
Il a eu une activité de compositeur de musique de films (comme dans Le Monde sans soleil, de Jacques-Yves Cousteau) et a aussi adapté et dirigé de la musique pour ce milieu (comme dans Les Amants, de Louis Malle, où il adapte et dirige la musique de Brahms, ou comme dans Voyage au bout du monde, de Jacques-Yves Cousteau, où il adapte et dirige la musique de Ravel).