De 1962 à 1969, il fait ses études secondaires au lycée catholique Saint-Louis à Saint-Nazaire ; il passe un baccalauréat scientifique, puis étudie les Lettres modernes à l'université de Nantes.
Après avoir obtenu une maîtrise, il occupe différents emplois provisoires, tels que pompiste ou vendeur d'encyclopédies médicales. En 1978, il est engagé à Presse-Océan et, comme il le raconte dans son livre Régional et drôle, après avoir travaillé à la sélection des dépêches de l'AFP, il est chargé de rédiger un « billet d'humeur » publié tous les deux jours sur la « une » du journal, avec la consigne de faire régional et drôle.
Il part ensuite à Paris, où il travaille dans une librairie, puis comme vendeur de journaux dans un kiosque. En 1988, il rencontre Jérôme Lindon, directeur des éditions de Minuit, qui va devenir son principal éditeur.
Son premier roman, Les Champs d'honneur, est publié en 1990, et reçoit le prix Goncourt. Durant les années 1990, ayant pu arrêter l'activité de kiosquier, il écrit les quatre romans qui, avec Les Champs d'honneur, forment un cycle romanesque fondé sur l'histoire de sa famille et certains aspects de sa propre vie.
En 2001, il quitte les éditions de Minuit pour les éditions Gallimard, qu'il quitte en 2014 pour les Éditions Grasset & Fasquelle.
En 2014, il publie aux éditions Dialogues, Éclats de 14.
En 2015, et cela depuis plusieurs années, il tient une Chronique hebdomadaire dans L'Humanité.