Il est né d'une mère coordonnatrice de voyage et d'un père professeur de musique. Avant de se tourner vers la comédie, Rupert Graves poursuit des études de cirque. Sa véritable carrière démarre grâce au réalisateur James Ivory avec une apparition dans Chambre avec vue (1986), et plus tard avec un rôle clé dans Maurice (1987).
Acclamé par la suite dans Intimate Relations, il reçoit le prix du meilleur acteur au Festival des films du monde de Montréal en 1996. Il a joué dans V pour Vendetta et Joyeuses Funérailles. Il a aussi repris le rôle de l'inspecteur Lestrade dans Sherlock, une série de la BBC qui transpose le personnage de Sherlock Holmes de nos jours.
Acteur de théâtre, il joue fréquemment sur des scènes du West End de Londres, mais aussi sur Broadway. Il incarne ainsi Wolfgang Amadeus Mozart dans Amadeus de Peter Shaffer en 1986, Algernon Moncrieff dans L'Importance d'être Constant d'Oscar Wilde l'année suivante, Dan dans Closer de Patrick Marber en 1999, Mick dans Le Gardien d'Harold Pinter en 2000, ou encore le D{{r}} Frederick Treves dans The Elephant Man de Bernard Pomerance en 2002.
Il est marié à Susie Lewis depuis 2001 dont il a eu 5 enfants : Joseph, Ella, Noah, Isaac et Zoe.