Né Ivan Simon Cary Elwes, d'un père artiste peintre (Dominick Elwes) et d'une mère décoratrice (Tessa Kennedy). Cary a deux frères, Cassian Elwes et Damian Elwes. Il s'est marié à Paris à Lisa Marie Kurbikoff, en 2000, après plusieurs années de vie commune. De leur union est née une petite fille, prénommée Dominique, le 25 avril 2007.