Il naît dans une famille juive baignant dans le milieu artistique, son père était ainsi directeur d'un théâtre et son parrain était Richard Strauss. Très jeune il montre des talents de compositeur prodige. Il étudie la musique et reçoit l'enseignement de Gustav Mahler et Johannes Brahms. Dès l'âge de 16 ans, il écrit une opérette.
Travaillant au Royaume-Uni en 1914, il obtient malgré sa nationalité des papiers pour partir aux États-Unis grâce au parrainage du duc de Westminster. Pendant 15 ans il travaille à New York comme chef d'orchestre ou arrangeur à Broadway.
En 1929 il rejoint Hollywood, initialement pour l'orchestration du film Rio Rita pour la RKO Radio Pictures. Sa carrière est lancée par la bande originale de King Kong en 1933. Il a composé pour des dizaines de films parmi lesquels Casablanca, Arsenic et vieilles dentelles, Le Rebelle ou Autant en emporte le vent.