Son père est cheminot à Contrexéville (Vosges), sa mère est serveuse, puis infirmière. Ses parents lui offrent un accordéon diatonique à l'âge de huit ans.
Il raconte dans une émission de télé avoir été fasciné à l'âge de 16 ans par le chanteur Salvatore Adamo qui vient à l'âge de 17 ans de remporter la finale d'un concours et concrétise alors son rêve de devenir auteur et interprète.
Après le bac, il s'inscrit à la faculté de lettres à Nancy, puis à 19 ans, il monte à Paris pour s'inscrire à l'université et dans la classe préparatoire du lycée Voltaire pour tenter le concours d'entrée à l'IDHEC (l'école de cinéma). Après un diplôme de lettres, il part voyager en Europe et aux États-Unis.
Il enregistre deux 33 tours en 1967 (Ne t'en fais pas petite fille) et en 1969 (La Planète endormie), qui passent inaperçus.
Parallèlement, il écrit des romans. En 1971, paraît Les Jours en couleur, puis L'Homme arc-en-ciel, qui sont des succès. Il va travailler pour le magazine Actuel et pour la radio Europe 1.
En 1972, il sort un 45 tours : Les Gauloises bleues. Il va faire la première partie de Georges Brassens avec Maxime Le Forestier et Philippe Chatel.
Les succès vont ensuite s'enchaîner tant en disques (Au pays des merveilles de Juliet, grand prix de l'Académie du disque, etc.) qu'en romans. Néanmoins, fin 1977, il abandonne la scène, qui lui prend trop de temps et d'énergie. En 1978, Yves Simon produit le 45 tours de Patrick Dewaere. Il continue de composer avec un rythme moins soutenu et préfère se consacrer prioritairement à la littérature qui lui assure une renommée saluée par la critique (prix des libraires en 1988, puis prix Médicis en 1991) et un succès public. Aussi, il se fait de plus en plus rare à la télévision. En 1999, il publie Intempestives qu'il produit avec Michel Coeuriot. L'album est caractérisé par des arrangements orchestraux et le mélange de sonorités rock, classiques et arabisantes. Au niveau des textes, Yves Simon se montre engagé dans les problèmes de son temps. Il raconte le sort des femmes afghanes prisonnières des talibans de Kaboul (Les souffrantes), il prend position en faveur de l'adolescente criminelle Florence Rey (Pardonnez), il évoque la vie dans les banlieues (Des cités des pleurs), parle du dialogue entre l'orient et l'occident... D'autres chansons ont une inspiration plus personnelle (Je te prie d'oublier). Je me souviens est un hommage à Georges Perec. En 2007, il publie Rumeurs, un album aux tonalités mélancoliques et aux sonorités dépouillées. Il y partage le micro avec Françoise Hardy sur Aux fenêtres de ma vie, qui parle du temps qui file, une thématique qui se prolonge dans les nostalgiques Cet enfant et Les Embruns de la jeunesse. Il y confie ses doutes (J'ai peur), ses amours (Les filles ont des sentiments) ou ses préoccupations (Des oursons blancs dans nos bras). En juillet 2007, il renoue avec la scène après trente ans d'absence aux Francofolies de La Rochelle, puis de Spa.
Le 12 mars 2008, trente ans après, il remonte sur les planches de l'Olympia, pour un concert de plus de deux heures où s’enchaînent principalement les titres de son dernier album, mais aussi les classiques que sont Amazoniaque, J’ai rêvé New York, Diabolo menthe et Au pays des merveilles de Juliet. Très à l’aise, il rendra hommage à ses influences : Georges Brassens, Serge Gainsbourg, Bob Dylan, The Rolling Stones et The Beatles. Serge Perathoner, fidèle compagnon, est au piano et claviers.
En 2011, il est un des membres du jury du prix Françoise-Sagan.
Sa compagne est la peintre, photographe et actrice Patrice-Flora Praxo. Yves Simon lui a consacré un titre sur l’album Rumeurs.
Yves Simon annonce un nouvel album pour 2016 .