Acteur italien par excellence, assurément le plus célèbre du monde du cinéma international des trois décennies suivant la Seconde Guerre mondiale, il conquiert sa notoriété sans faire de vagues, à l'inverse d'autres acteurs de sa génération. De 1938 à 1943, il obtient des rôles de figurant ou « d'utilité » dans quelques films, puis, en raison de l'opposition familiale au fascisme, se voit obligé de se cacher jusqu'à la fin des hostilités de la Seconde Guerre mondiale. Dès 1945, il s'inscrit au Centre universitaire de théâtre (Centro Universitario Teatrale) où il fait la connaissance de Luchino Visconti qui lui donne un rôle dans une pièce de théâtre qu'il dirige, Un tramway nommé Désir. Lors de ses prestations théâtrales, il va avoir l'occasion de jouer avec Giulietta Masina et, ainsi, de lier connaissance avec son mari, Federico Fellini ; cette rencontre a une influence considérable sur sa carrière.
Au cinéma, il va de rôles mineurs en rôles très secondaires jusqu'en 1955 où il obtient sa première récompense, un Ruban d'argent, pour son rôle de Pasquale dans {{Lien}} (Giorni d'amore) réalisé en 1954 par Giuseppe De Santis et {{Lien}}.
Ses capacités d'adaptation aux rôles qu'on lui propose lui permettent de jouer aussi bien avec des réalisateurs de la période des Téléphones blancs tels Mario Camerini en 1953 et 1955 ou Alessandro Blasetti en 1954, 1955, 1956 puis 1965, qu'avec des réalisateurs du néoréalisme tels que Giuseppe De Santis en 1954, Luchino Visconti en 1957 et 1967 ou Vittorio De Sica en 1963, 1964, 1968 et 1970.
Après ce premier Ruban d'argent (il en obtient sept durant sa carrière et un posthume), c'est encore Luchino Visconti, son mentor de théâtre, qui lui ouvre les portes de la renommée, avec le rôle principal de Mario dans Nuits blanches (Le Notti bianche), d'après le roman homonyme de Fiodor Dostoïevski.
En 1960, Federico Fellini lui propose le rôle de Marcello Rubini dans La Dolce Vita, qui, avant de devenir un film culte, crée un scandale par son audace et remporte nombre de récompenses dont la Palme d'or à Cannes, la même année. C'est le début de la réputation de « latin lover » pour Mastroianni, ce dont il se défend toute sa vie.Mariage à l'italienne en 1963.
Dès lors, il alterne les rôles dans des comédies à l'italienne (commedia all'italiana) comme Les Joyeux Fantômes d'Antonio Pietrangeli, Divorce à l'italienne de Pietro Germi ou Mariage à l'italienne de Vittorio De Sica pour lesquels il obtient des récompenses aussi bien italiennes qu'internationales, et dans des films du courant dit de la politique des auteurs (politica degli autori) tels que La Nuit de Michelangelo Antonioni, Huit et demi de Federico Fellini ou L'Étranger de Luchino Visconti.
Il remporte deux Golden Globe Awards en 1963 et 1964 et le film Huit et demi, deux Oscars en 1965. Le {{Date}}, Marcello Mastroianni est la 129{{e}} célébrité à avoir l'honneur de laisser ses empreintes de mains dans le ciment sur le parvis du Grauman's Chinese Theatre, sur Hollywood Boulevard à Los Angeles.
Il apparaît dans Italiques en 1974 pendant une reconstitution de la scène de la Dolce Vita devant la fontaine de Trévi dans le documentaire, Cinéma italien et littérature : le voyage de Fellini.
Son parcours d'acteur l'amène à jouer avec les plus grands réalisateurs italiens, Mauro Bolognini, Ettore Scola, Elio Petri ou Dino Risi y compris ceux du courant cinématographique italien de l'engagement (impegno), Marco Bellocchio et Marco Ferreri. Des réalisateurs étrangers, aux styles aussi divers que Jules Dassin, Louis Malle, Terence Young, John Boorman, Nadine Trintignant, Roman Polanski, Jacques Demy, Yves Robert le font jouer. Sans rompre avec le cinéma italien, sa carrière s'oriente toujours davantage vers des productions d'autres pays. On le voit devant la caméra grecque de Theo Angelopoulos, russo-italienne de Nikita Mikhalkov pour Les Yeux noirs (qui lui vaut un second Prix d'interprétation à Cannes, 17 ans après Drame de la jalousie), française de Bertrand Blier ou Agnès Varda, américaine de Robert Altman, franco-chilienne de Raoul Ruiz, portugaise de Manoel de Oliveira.
Dans les douze dernières années de sa vie, il ne se passe quasiment pas une année sans qu'une récompense ne vienne l'honorer. Mais, nommé trois fois aux Oscar du cinéma en 1963, 1978 et 1988, il n'obtient jamais la récompense.