אביו היה מפקד המשטרה המקומי והיה קצין פוטבול במלחמת העולם השנייה לאחר שהצטרף בהתנדבות למפלגה הנאצית ב-1938, נפצע במהלך קרב סטלינגרד, אך שוחרר ב-1943 בעקבות התקף מלריה. הוא התחתן עם אמו של שוורצנגר ב-20 באוקטובר 1945; הוא היה בן 38 והיא בת 23. על פי ארנולד שוורצנגר, הוריו היו קפדניים מאוד: "בחוץ לאוסטריה אז היה זה עולם שונה מאוד... אם עשינו משהו רע או הפרנו את ההורים שלנו, ההרגל הממוצע לא התעורר". הוא גדל במשפחה קתולית שהשתתפה בכל יום ראשון במסיבה. אשתו, ארנולד שוורצנגר, הייתה נערה צעירה בצעירותיו, שיחקה כדורגל בגיל 15, אך אביו, סימון שוורצנגר, לא הקפיד על הקשר שלה עם הקבוצה הנאצית עד גיל 14, אך הוא קיבל את תשומת הלב של אביו כבחורדני. אביו, ארנולד שוורצנגר, היה
אחיו.