Antoine Compagnon est le fils du général Jean Compagnon et de Jacqueline Terlinden.
Il achève ses études secondaires au Prytanée national militaire de La Flèche, puis entre à l'École polytechnique (promotion 1970) et devient ingénieur des ponts et chaussées. Il s'oriente ensuite vers une carrière littéraire en devenant pensionnaire de la Fondation Thiers et attaché de recherche au CNRS en linguistique et littérature françaises (1975-1978).
Docteur de troisième cycle de littérature française en 1977, il enseigne à l’École polytechnique dans le département « Humanités et sciences sociales » (1978-1985), à l'Institut français du Royaume-Uni à Londres (1980-1981), et devient maître de conférences à l'université de Rouen en 1981. Docteur d'État ès lettres en 1985, il part comme professeur à l'université Columbia à New York, où il sera nommé Blanche W. Knopf Professor of French and Comparative Literature en 1991. En France, il est professeur à l'université du Maine (1989-1990), puis à l'université Paris IV-Sorbonne (1994-2006).
Depuis 2006, il occupe au Collège de France la chaire de « Littérature française moderne et contemporaine : histoire, critique, théorie ». Il fait partie, entre 2006 et 2011, du Haut Conseil de l'éducation et, entre 2006 et 2013, du Haut Conseil de la science et de la technologie.
Pendant l'été 2012, il propose une chronique quotidienne sur France Inter sous le titre Un été avec Montaigne accompagnée des lectures du comédien Daniel Mesguich. Cette chronique donnera lieu à la publication d'un ouvrage qui constituera un grand succès de librairie de l'été suivant. Il revient sur cette station dans le cadre de la grille d'été 2014 afin d'assurer une chronique intitulée Un été avec Baudelaire.
En 2014, ses propos sur la féminisation de l'enseignement ({{Citation}}) lui ont valu de vives réactions dans les médias{{'}}{{,}}. Il s'en est expliqué peu après{{,}}.