Né au Mali, Abdoulaye Diarra arrive à Paris en 1975 et ses parents s'installent dans le {{19e}} arrondissement quand il a l'âge d'un an. Il habitera pendant de nombreuses années dans le quartier Danube, à côté de la Place des fêtes, quartier surtout réputé pour la toxicomanie et ses crackeurs. Touché par la violence de son quartier où naît notamment un de ses trois frères Mamoutou Diarra (joueur international français de basket-ball), plus tard, il préférera toujours mettre en avant la poésie sauvage et le théâtre tragique et comique de son quotidien et les relations qu'il a pu tisser au cours de ses épopées, qui n'ont pas toujours été innocentes.
Oxmo Puccino découvre le rap à onze ans et commence à rapper vers l'âge de treize ans. Au contact d’un groupe d’amis rappeurs Bo Green, Kery James et Manu Key pratiquant le freestyle, il se décide à se lancer dans ce genre musical, ses premières apparitions sur disque datant de 1995, puis participe à de nombreux projets musicaux. Avec un autre rappeur du {{19e}} arrondissement, Pit Baccardi, il intègre le collectif Time Bomb, qui lui permet de collaborer avec les X-Men, Lunatic (Booba et Ali), Hifi, et d'autres. Considérés comme les plus prometteurs de la nouvelle école du rap français dans la fin des années 1990, grâce à leurs flow novateurs et à une écriture technique, les rappeurs de l'écurie Time Bomb se feront surtout un « nom » dans l'underground grâce à leurs nombreuses réunions pour des freestyles, aujourd'hui encore très réputés, sur la radio Générations dans l'émission Original Bombattak.
En 1997 paraît L 432, une compilation dans laquelle se trouve le morceau Pucc fiction, réalisé en collaboration avec Booba. Ce titre rencontre vite un grand succès d'estime dans le milieu underground et est considéré aujourd'hui comme un des morceaux les plus forts du rap français. C'est en 1998 qu'Oxmo Puccino se fait connaître du grand public grâce au titre Mama Lova, hymne à sa mère sorti sur la compilation Sad Hill du marseillais Kheops, DJ du groupe IAM. C'est le premier morceau du rappeur qui a eu droit à un vidéoclip.
Alors que le collectif Time Bomb originel se sépare, il signe un contrat avec la maison de disques Virgin et sort, en 1998, son premier album studio, Opéra Puccino, qui mettra 8 ans pour décrocher sa certification disque d'or. À la demande du réalisateur Jacques Doillon, il participe ensuite à la musique du film Petits Frères, sorti en 1999. Après la réalisation d'une mixtape (Bâtiment B) et de nombreuses collaborations avec différents rappeurs sur divers projets, il sort son deuxième album solo, L'amour est mort en 2001, qui connaîtra un véritable échec commercial. En 2004, il participe au doublage français du film américain Belly et retrouve à nouveau le succès avec son troisième album Cactus de Sibérie. Il part ensuite à la rencontre de son public grâce à une grande tournée de concerts dans toute la France (un album live sortira en 2005, le Black Tour Desperado).
En 2006, il sort chez Blue Note, célèbre label de jazz, un concept-album en collaboration avec le groupe The Jazzbastards, appelé Lipopette Bar. L'album, jazzy et très inspiré des films noirs, narre l'histoire du Lipopette Bar, de son équipe et de ses habitués : une diva, Billie, qui disparaît avant son grand spectacle ; Tito, gangster depuis toujours et voulant se ranger ; Kali, apprentie chanteuse ; ou le videur Black Popaye. Pour ce disque, Oxmo Puccino s'est en fait inspiré de la vie de la chanteuse de jazz Billie Holiday, souhaitant ainsi lui rendre hommage.
En 2007, Oxmo Puccino réalise avec DJ Cream La réconciliation, une mixtape comportant plusieurs inédits, des reprises en live et des remix.
Après avoir écrit le texte d'une chanson interprétée par Florent Pagny (Vivons la Paix sur l'album de ce dernier Abracadabra, sorti en 2006), il continue ses collaborations en tant qu'auteur et participe à deux titres de l'album d'Alizée Psychédélices sorti en 2007 (Décollage et Par les Paupières).
Au mois d'octobre de la même année, il part à Bogota (Colombie) en compagnie de DJ Cream, pour réaliser une résidence artistique avec le groupe colombien Choc Quib Town. De cette collaboration, véritable dialogue des cultures, est né un CD 4 titres, Paris-Bogota.
Son album suivant, L'Arme De Paix, sort le {{date}}. Si Oxmo a retrouvé les musiciens de la formation Les Jazzbastards pour les compositions et l'enregistrement des morceaux, d'autres collaborations accompagnent ce disque : Sly the Mic Buddah du groupe Saian Supa Crew sur deux titres, le rappeur et chanteur K'Naan, l'artiste soul et reggae Ben l'oncle soul et enfin la chanteuse Olivia Ruiz. Simultanément au disque est sortie un recueil intitulé Mine de cristal regroupant les meilleurs textes d'Oxmo Puccino.
Au début de l'année 2010, il gagne une Victoire de la musique pour L'arme de Paix : le prix du meilleur album de musique urbaine. Il apparaît également dans Conte de la frustration, le conte musical d'Akhenaton et Didier Daarwin.
Son sixième album, Roi Sans Carrosse, est sorti le 17 septembre 2012. La presse apprécie ses incursions dans le jazz et ses références à la chanson française, notamment à Léo Ferré. Le 8 février 2013, grâce à cet album, il gagne une deuxième Victoire de la Musique du meilleur album de Musique Urbaine.
Le 18 octobre 2012, il est nommé ambassadeur de l'UNICEF France.
En 2014, il collabore avec Ibrahim Maalouf (et son orchestre classique d'une trentaine de musiciens et de la chorale d'enfants de la maîtrise de Radio France) sur le projet Au pays d'Alice, qui repeint le roman de Lewis Carroll Alice aux pays des merveilles.
En 2015, il collabore avec le rappeur Demi Portion sur le morceau Une chaise pour deux présent sur l'album Dragon Rash sorti le 19 janvier 2015. En mai 2015, il lance son application mobile "Le Cercle" grâce à laquelle il souhaite se rapprocher de ses fans. Le 10 juillet 2015, Oxmo Puccino annonce sur son compte Twitter officiel l'arrivée de l'album La Voix Lactée qui sortira le 13 novembre 2015. Un premier single intitulé Une chance sort le 8 septembre 2015. En décembre 2015, il participe au remix de la chanson Titi parisien de Seth Gueko avec celui-ci ainsi que Nekfeu.
En 2016, il apparaît sur l'album Doni Doni d'Érik Truffaz.