Ses parents sont de modestes baptistes ayant eu cinq enfants, John étant le deuxième. Son père travaille dans la construction et dans les champs de coton. Après plusieurs déménagements, la famille s'installe en 1967 dans la petite ville de Southaven, du comté de DeSoto au Mississippi. Encouragé par sa mère, le jeune Grisham dévore de nombreux livres, dont ceux écrits par John Steinbeck, un modèle de clarté pour lui.
En 1977, Grisham est diplômé en sciences comptables de l'université d'État du Mississippi. Pendant ses études, il prend des notes dans un journal de bord, ce qui l'aidera dans sa future carrière littéraire. Après avoir obtenu une licence en droit du Mississippi School of Law en 1981, il se joint à un bureau d'avocats œuvrant dans la petite ville de Southaven. Après dix années à travailler pour celle-ci, il se concentre sur les cas criminels, tout en étant efficace dans les poursuites au civil.
En 1983, il est élu comme représentant à la Chambre des Représentants de l'État du Mississippi qu'il servira jusqu'en 1990.
En 1984, lors d'un procès, il entend le témoignage bouleversant d'une enfant de douze ans qui a subi un viol. Dans ses temps libres, il commence à écrire son premier roman où il explore l'hypothèse que le père de la jeune fille a tué les violeurs. Après trois ans de travail, Non coupable est proposé à plusieurs éditeurs, qui le rejettent. Wynwood Press décide de l'accepter et d'en publier 5000 exemplaires en {{date}}.
Immédiatement après la publication de Non coupable, Grisham commence à écrire l'histoire d'un brillant avocat fraîchement diplômé qui accepte l'offre irrésistible qu'une firme de Memphis lui fait, ne se doutant pas que celle-ci effectue des opérations illicites. Ce roman, La Firme, devient la meilleure vente de 1991. Grisham produit désormais un roman par an en moyenne, plusieurs étant de grands succès. À partir de 2001, il commence à écrire sur le Sud rural des États-Unis.
En 2010, il publie son premier ouvrage de littérature d'enfance et de jeunesse avec Théodore Boone, enfant et justicier. En janvier 2010, le classement de plusieurs magazines dédiés à l'édition, dont Livres-Hebdo en France et The Bookseller en Grande-Bretagne, le place à la dixième place des écrivains de fiction les plus vendus en Europe en 2009.
En 1996, Grisham fait un retour dans l'arène judiciaire en défendant avec succès une famille dont le père est mort à la suite d'un accident ferroviaire.
La passion de Grisham pour le baseball - enfant, il rêvait de faire une carrière pro - transparaît dans son roman le plus intimiste, La Dernière Récolte, et dans sa participation aux activités de la Little League à Oxford dans le Mississippi et à Charlottesville en Virginie. Il a aussi fait du missionnariat au Brésil. Grisham se dit baptiste modéré.
Sa femme, Renee, ainsi que ses deux enfants, Ty et Shea, vivent avec lui dans une maison victorienne près d'Oxford. Il possède aussi une plantation près de Charlottesville.