ב-26 בספטמבר 1933 בבמברג נישא סטאופנברג לנינה פרין פון לרכנפלד. הם ילדו חמישה ילדים: ברתולד; היימרן; פרנץ-לודוויג; ולרי; וקונסטנזה, שנולד בפראנקפורט על אודרה לאחר הוצאתו להורג של סטאופנברג. ברתולד, היימרן, פרנץ-לודוויג וולרי, שלא נודעו על מעשה אביהם, הונחו בבית אומנה למשך שארית המלחמה ונאלצו להשתמש בשמות משפחה חדשים, שכן סטאופנברג נחשב טאבו. נינה נפטרה בגיל 92 ב-2 באפריל 2006 בקירכלאוטר ליד באמברג, ונקבר שם ב-8 באפריל. סטאופנברג המשיך להיות גנרל ב-Bundeswehr של גרמניה המערבית לאחר המלחמה. פרנץ-לודוויג הפך לחבר של שני הפרלמנטים הגרמניים והנוצרים, המייצג את האיחוד החברתי האירופי בברכאן,
חמישה.