אופנהיימר נולד בניו יורק ב-22 באפריל 1904, למשפחתו של יוליוס אופנהיימר, יבואן טקסטיל יהודי עשיר שהיגר לארצות הברית מגרמניה בשנת 1888, ואלה פרידמן, ציירת. יוליוס הגיע לאמריקה בגיל 18, ללא כסף, בלי לימודי תואר ראשון, ללא ידע בשפה האנגלית. הוא קיבל עבודה בחברת טקסטיל ובתוך עשור היה מנהל בחברה. אלה הייתה מבולטימור. משפחת אופנהיימר היו יהודים אשכנזים לא מתבוננים. בשנת 1912 המשפחה עברה לדירה בקומה ה-11 של 155 ריברסייד דרייוו, ליד רחוב 88 מערב, מנהטן, אזור הידוע באחוזות ואחוזות יוקרה. עבודותיהם כללו את יצירותיו של פבלו ופיקאסו ואדואל וולארד, לפחות שלושה ציורים מקוריים של רוברט וינסנט ואן. פליקס הופנהיימר הפך למורה לאמן באמריקה בגיל 18, כאשר אביו הגיע לאמריקה ללא כסף, בלימודי ת
שלוש שנים.