Allison Janney est née à Boston, Massachusetts et a grandi à Dayton, Ohio. Elle est la fille de Mary Brooks (née Putman), actrice de formation et mère au foyer, et de Jervis Spencer Janney musicien de jazz.
Elle suivit des cours au Kenyon College où elle rencontra Paul Newman, ancien élève de l'établissement, qui la dirigera plus tard dans une pièce de théâtre pour l'inauguration du nouveau Bolton Theater. Ensuite, elle ira étudier le théâtre au Neighborhood Playhouse à New York, puis à la Royal Academy of Dramatic Art de Londres.
Elle débute à la télévision avec des rôles comiques dans des soap-opéras tels que As the World Turns, Haine et Passion. Au cours des années 90, elle joue au cinéma dans American Beauty, L'Objet de mon affection, A table, Les Imposteurs, Ice Storm et Belles à mourir. Dans les années 2000, elle joue dans The Hours (avec Meryl Streep, Nicole Kidman et Julianne Moore), How to Deal et Winter Solstice.
Cependant, le rôle qui la révéla, et qui restera son plus marquant, est celui de l'attachée de presse C.J. Cregg dans la série politique à succès À la Maison-Blanche avec entre autres Martin Sheen, Stockard Channing, Richard Schiff et Bradley Whitford. Saluée unanimement par la critique, son interprétation d'une femme de pouvoir toujours sous les projecteurs, lui vaudra notamment 4 Primetime Emmy Awards (2 en tant que second rôle - 2000,2001 - et 2 en tant que rôle principal - 2002,2004) ainsi que deux autres nominations en 2003 et 2006 et quatre nominations aux Golden Globes (2001, 2002, 2003, 2004).
Depuis la fin de la série en 2006, Allison Janney a joué dans Hairspray ou encore dans Juno et La Couleur des Sentiments.