Hy is gebore in die Stauffenberg-kasteel van Jettingen tussen Ulm en Augsburg, in die oostelike deel van Swabië, destyds in die Koninkryk van Beiere, deel van die Duitse Ryk. Hy was die derde van vier seuns, waaronder die tweeling Berthold en Alexander en sy eie tweelingbroer Konrad Maria, wat op 16 November 1907 in Jettingen gesterf het. Sy vader was Alfred Klemens Friedrich Philippinian, die laaste Justhof Obermarschall van die Koninkryk van Württemberg. Sy moeder was Caroline Schenk von Stauffenberg, née Gräfin von Üllx-Gyllen, die edeltitel van Richard August Graf von Üllx-Gyllen, die edeltitel van Alfred August Graf von Üllx-Gyllen en Präfinerie Henn, wat op daardie tydstip in die Koninkryk van Beiere, deel van die Duitse Ryk, deel van die Duitse Ryk was.
16 November 1907