Small a commencé à dessiner très tôt; à cause de problèmes de santé, il est resté à sa maison la plus grande partie de son enfance. Il a suivi des cours à la Cass Technical High School, écrit quelques pièces de théâtre durant son adolescence et s'est tourné vers les études artistiques quand il avait 21 ans. Il a étudié les Beaux-Arts à la Wayne State University et obtenu un master en Beaux-Arts à l'Université de Yale. Pendant plusieurs années, Small a enseigné les arts dans différentes universités tout en produisant une série de films et publiant des dessins humoristiques dans des journaux étudiants. Il a publié son premier livre, Eulalie and the Hopping Head, en 1981.
En 1997, Small a reçu le Caldecott Honor et la Christopher Medal pour son livre The Gardener, écrit avec sa femme Sarah Stewart. En 2001, il a reçu la Caldecott Medal pour So You Want to Be President?, un livre qui mélange dessins politiques et illustrations pour enfants. Il reçoit une deuxième fois le Caldecott Honor en 2013 pour ses illustrations du livre de Toni Buzzeo, One Cool Friend. Small a publié ses dessins notamment dans le New Yorker et le New York Times.
David Small et son épouse Sarah Stewart vivent dans un manoir historique à Mendon (Michigan).