Sarsgaard est né à la base aérienne de Scott, où son père travaillait comme ingénieur de la Force aérienne. Sa famille a déménagé plus de douze fois durant son enfance, en raison du travail de son père. Il a eu une éducation catholique, et a été enfant de chœurs. Il a étudié a la Fairfield College Preparatory School, une école jésuite du Connecticut.
À l'âge de sept ans, Sarsgaard voulait devenir un joueur de football, a pris des cours de ballet afin d'améliorer sa coordination. Après s'être blessé plusieurs fois en jouant au football, il abandonna le sport et s'intéressa à l'écriture et au théâtre.
Après l'obtention de son diplôme, il fait ses études au Bard College, à New York, pendant deux ans, avant de s'inscrire, en 1991 à l'Université Washington de Saint-Louis, où il a cofondé une troupe de comédie d'improvisation appelée "Mama's Roast Pot". En 1993, il a obtenu un diplôme en histoire et a déménagé à New York.
Depuis 2002, Sarsgaard entretient une relation avec l'actrice Maggie Gyllenhaal, sœur de son ami Jake Gyllenhaal. Le couple a deux petites filles, Ramona, née le 3 octobre 2006 et Gloria Ray, née le 19 avril 2012. Le 2 mai 2009, ils se marient à Brindisi en Italie. La famille réside à Brooklyn, New York.
Sarsgaard commence sa carrière dans des productions télévisuelles filmées à New York, comme New York, police judiciaire en 1995 et New York Undercover (1997). Il a obtenu un rôle dans le film de 1998 L'Homme au masque de fer, où il incarne Raoul, le fils de John Malkovich. Le film reçoit des critiques mitigées, mais est un succès au box-office, avec 182 millions $ de recette dans le monde.
2003 marque un tournant dans la carrière de Sarsgaard, en effet il est au casting du film Le Mystificateur, il est nommé pour sa performance aux Golden Globes.
En 2005, il décroche le second rôle du suspense La Porte des secrets. Il participe aussi au tournage de Flight Plan, aux côtés de Sean Bean et de Jodie Foster. Il joue dans Jarhead, dont la date de sortie est prévue la même année, face à Jake Gyllenhaal.
En 2007, on a pu l'apercevoir interpréter des seconds rôles, tels que celui dans Détention secrète.
En 2009, il joue un acteur alcoolique Dans la brume électrique de Bertrand Tavernier, tourné en Louisiane, et dans le film de la réalisatrice danoise Lone Scherfig, An Education, dans lequel il a dû pour ce rôle prendre un accent britannique. Il a joué il y a peu dans le film psychologique Esther de Jaume Collet-Serra, dans lequel il interprète le père de la jeune orpheline aux airs sages qui cache en réalité de sombres secrets.
En 2010, dans le film Night and Day de James Mangold, il interprète le rôle de l'agent-double Fitzgerald aux côtés de Cameron Diaz et Tom Cruise.