Son patronyme vient d'un grand-père paternel forgeron allemand qui vécut à Cologne et qui travaillant en 1914 à Liège dans la construction ferroviaire, prit la nationalité belge « en 24 heures », évitant ainsi l'internement. Fils de Franz Weyergans, écrivain lui aussi, et d’une mère avignonnaise (qui a vécu plusieurs années à Forcalquier), il a suivi sa scolarité à Bruxelles, au Collège Saint-Michel puis à l'Institut Saint-Boniface-Parnasse. Il suit ensuite à Paris les cours de l'Institut des hautes études cinématographiques (IDHEC) et se passionne pour Bresson et Godard.
Il écrit des critiques dans Les Cahiers du cinéma de décembre 1960 à juillet 1966.
Il réalise en 1961 un premier film sur Maurice Béjart.
À la suite d'une analyse, il publie en 1973 un compte rendu sarcastique de sa cure. C'est la substance de son roman Le Pitre, remarqué par la critique, qui obtient le prix Roger-Nimier.
Puis, en 1981, Macaire le Copte (Gallimard) est consacré par le prix Victor-Rossel en Belgique et obtient aussi le prix des Deux Magots en France. Dès lors, Weyergans se voue entièrement à la littérature, travaillant la nuit, de onze heures du soir au lendemain midi.
Le Radeau de la méduse (Gallimard, Paris, 1983) reçoit le prix Méridien des quatre jurys et La Démence du boxeur obtient le prix Renaudot en 1992. Il écrit aussi Franz et François, allusion à son père et à lui-même, La Vie d'un bébé. Son roman Trois jours chez ma mère obtient le prix Goncourt le 3 novembre 2005 au terme d'une intense compétition avec le roman La Possibilité d'une île de Michel Houellebecq.
Il a été élu le {{date}} à l'Académie française au fauteuil de Maurice Rheims, laissé vacant par le décès d'Alain Robbe-Grillet. Sa réception sous la coupole est célébrée le 16 juin 2011 avec un discours d'accueil prononcé par Erik Orsenna et son double éloge de ses deux prédécesseurs au fauteuil 32.