Oppenheimer sündis New Yorgis 22. aprillil 1904, Julius Oppenheimer oli rikas juudi tekstiiliimportija, kes oli 1888. aastal Saksamaalt immigreerinud Ameerika Ühendriikidesse, ja Ella Friedman, maalikunstnik. Julius tuli Ameerikasse ilma raha, ilma bakalaureuseõppe ega inglise keele tundmata. Ta sai tööd tekstiilifirmas ja kümne aasta jooksul oli ettevõtte juhataja. Ella oli Baltimorist. Oppenheimerid olid mitte-järglevad Aškenaasi juudid. 1912. aastal kolis perekond korterisse 11. korrusel 155 Riverside Drive'is, West 88th Street'i lähedal Manhattanis, piirkonnas, mis on tuntud luksuslike mõisate ja majahoonete poolest. Nende kunstis olid Pablo Picasso ja Édouard Vuillard ning vähemalt kolm originaal maali Robert Vincent van Gogh.
kolm aastat