Après des études de sciences politiques, de lettres et d'histoire de l'art à la Sorbonne, il fait son service militaire dans les tirailleurs tunisiens.
Installé en Algérie, il répond en 1952 à une petite annonce de Paul Robert qui cherche des linguistes pour faire un dictionnaire. Alain Rey devient son premier collaborateur pour le Dictionnaire alphabétique et analogique. Durant cette période, il rencontre Josette Debove qui travaille dans la même équipe. Ils se marient en 1954. En 1964 sort le tout premier dictionnaire Le Robert, suivi du Petit Robert en 1967.
Alain Rey rédige et dirige ensuite les différents dictionnaires des éditions Robert : le Petit Robert (1967), le Micro Robert, le Petit Robert des noms propres (1974), le Dictionnaire des expressions et locutions (1979), le Grand Robert de la langue française en 9 volumes (1985), le Nouveau Petit Robert de la langue française (1993), et le Dictionnaire historique de la langue française (1992). En 2005, il publie le Dictionnaire culturel en langue française. Cette « Reyvolution » culturelle a demandé plusieurs années de travail aux auteurs de cet ouvrage (parmi lesquels Jacques Le Goff et Régis Debray) et à lui-même.
Dans un souci de démocratisation, il fait partager sa passion dans les médias. Entre 1993 et 2006, il conclut la matinale de France Inter, dans une chronique intitulée Le Mot de la fin, où il décortique les vocables de la langue, et aime souvent à traiter de la politique sous son œil libertaire. Il est mis à l'écart à la rentrée 2006. Pour plusieurs, c'est le signe d'une volonté de la part de la direction de rajeunir l'antenne, mais aussi peut-être d'en lisser le propos. Sa dernière chronique, le {{Date}}, est consacrée au mot « salut ».
Entre 2004 et 2005, il présente également une chronique Démo des Mots après le journal de 20 heures de France 2 dans laquelle il explique l'origine, l'évolution et les dérivés des mots liés à l'argent.
Le ministre de la Culture et de la Communication lui décerne fin 2005 le titre de commandeur dans l'ordre des Arts et des Lettres.
Par ailleurs, Alain Rey est signataire de lAppel à la vigilance contre le néocréationnisme et les intrusions spiritualistes en science, publié en France à la fin de l'année 2005.
À partir de septembre 2007, il participe à l'émission hebdomadaire de Laurent Baffie sur Europe1 le dimanche matin.
Depuis plusieurs années, Alain Rey tient une chronique dans Le Magazine littéraire, intitulée Le dernier mot. Il y décrypte un terme de la langue française, bien souvent en liaison avec l'actualité.
Alain Rey intervient également régulièrement dans l'émission Le Petit Journal de Yann Barthès sur Canal + pour définir un mot de la langue française qui est inconnu pour de nombreuses personnes.
Alain Rey est membre de la Commission générale de terminologie et de néologie, dont il est le seul linguiste.
En 2014, Alain Rey revient sur France inter dans l'émission de Nagui La Bande originale, diffusée à 11 h.