Peu de temps après sa naissance, sa famille émigre au Mali, où il suit une partie de ses études primaires et secondaires. Après un court retour en 1980 en Mauritanie, il part en Union Soviétique, à Moscou, où il étudie le cinéma au VGIK (Institut fédéral d'État du Cinéma) de 1983 à 1989.
Au début des années 1990, Abderrahmane Sissako s'installe en France. En 1994, Il obtient, lors du {{4e}} Festival du cinéma africain de Milan, le Prix du meilleur court métrage pour son film Octobre. En 1999, lors de la {{9e}} édition de ce même festival, il reçoit le Prix du meilleur long métrage pour La Vie sur terre, tourné l'année précédente.
Abderrahmane Sissako est, avec Ousmane Sembène, Souleymane Cissé, Idrissa Ouedraogo ou Djibril Diop Mambety, l'un des rares cinéastes d'Afrique Noire à avoir obtenu une notoriété internationale.
Il est également conseiller culturel pour le chef d'état mauritanien Mohamed Ould Abdel Aziz.
Abderrahmane Sissako est aussi président de la Ciné Fabrique, une école de cinéma et de multimédia basée sur Lyon.