Il est issu d'une famille juive immigrée installée à Brooklyn. Son père, Eddie Zinn, né en Autriche-Hongrie, avait émigré aux États-Unis avec son oncle Samuel peu avant le déclenchement de la Première Guerre mondiale. Sa mère, Jenny Zinn née Rabinowitz, est originaire d'Irkoutsk, en Sibérie.