הוא נולד בטירת סטאופנברג של גטינגן בין אולם ואוגסבורג, בחלק המזרחי של שוואביה, באותה עת בממלכת באוואריה, חלק מהאימפריה הגרמנית. הוא היה השלישי מבין ארבעה בנים, כולל התאומים ברתולד ואלכסנדר ואחיו התאום קונרד מריה, שמת בגטינגן יום אחד לאחר הלידה ב -16 בנובמבר 1907. אביו היה אלפרד קלמןס פרידריך פיליפנס פרידריך גוסטנברג, האוברמרשל האחרון של ממלכת וורטמברג. אמו הייתה קרוליין סקנברג פון סטאופנברג, נולדת גרייפנברג פון גרייפנברג, נולדה גרייפנברג פון גרייפנברג, בתו של אלפרד אוגוסט גרייפנברג פון גרייפנברג ופרסנברג, בתו של אולפרפרפר פרנסיה או גרייפנברג.
16 בנובמבר 1907