Pat Conroy s'est marié trois fois. Il est actuellement marié, depuis mai 1997, avec l'écrivain Cassandra King. Il vit actuellement à Fripp Island, en Caroline du Sud, avec sa femme Cassandra.