Er heiratete 1928 die Pianistin Gertrude Hutter (1905–1952); der amerikanische Musikethnologe Bruno Nettl (* 1930) ist ihr Sohn. Er war in zweiter Ehe mit Margaret von Gutfeld verheiratet, der er die Beethoven-Enzyklopädie widmete.