Stauffenberg abiellus Nina Freiin von Lerchenfeld'iga 26. septembril 1933 Bambergis. Neil oli viis last: Berthold; Heimeran; Franz-Ludwig; Valerie; ja Konstanze, kes sündis Frankfurdis Oderil pärast Stauffenbergi hukkamist. Berthold, Heimeran, Franz-Ludwig ja Valerie, kellele ei räägitud nende isa tegude kohta, paigutati sõja lõpuni ülalpidamiskojas ja sunniti kasutama uusi perekonnanime, kuna Stauffenbergi peeti tabuks. Nina suri 2. aprillil 2006 Kirchlauteris Bambergi lähedal 92-aastasena ja maeti sinna 8. aprillil.
viis