La mère de Jim Jarmusch, cadet de trois enfants, d'origine irlandaise et allemande, fut critique de film et de théâtre pour le Akron Beacon Journal avant d'épouser son père, un homme d'affaires d'origine tchèque et allemande qui travaillait pour la BF Goodrich. Sa mère l'initie au monde du cinéma en le déposant au cinéma local pendant qu'elle fait les courses. Marqué par les grands noms d'Antonioni, Mizoguchi, Ozu, qu'il découvre à la cinémathèque de Paris, il s'inscrit à la New York University en section « Cinéma ». Son film de fin d'études Permanent Vacation est présenté dans les nombreux festivals de films de 1980. Les caractéristiques qui définiront le style et les scénarios de Jarmusch sont en partie présentes : dandysme désabusé de anti-héros, travail dans l'ascétisme, appétence pour la description des marginaux, tendance à montrer un quotidien étrange, décalé.
Quelques années plus tard, il devient l'assistant de Wim Wenders sur le plateau du film Nick's Movie. En 1984, avec son film Stranger Than Paradise, Jarmusch remporte tour à tour la caméra d'or au festival de Cannes et le Léopard d'or au festival de Locarno. Après avoir fait quelques apparitions comme acteur, notamment dans Brooklyn Boogie, il fait un premier pas dans le monde du documentaire (Year of the Horse) en 1997. Avec la sortie de Coffee and Cigarettes en 2003 dont la réalisation fut étalée sur près de vingt ans, il revient au noir et blanc.
Ses films Broken Flowers et Only Lovers Left Alive, sortis respectivement en 2005 et 2014, sont tout deux sélectionnés en compétition officielle au festival de Cannes.
Musicien claviériste, il fonde {{lien}}, groupe post-punk.
Il est depuis 2010 membre du groupe de rock SQÜRL. Il signe également deux albums avec Jozef Van Wissem.