Hy is gebore in die Stauffenberg-kasteel van Jettingen tussen Ulm en Augsburg, in die oostelike deel van Swabië, destyds in die Koninkryk van Beiere, deel van die Duitse Ryk. Hy was die derde van vier seuns, waaronder die tweeling Berthold en Alexander en sy eie tweelingbroer Konrad Maria, wat op 16 November 1907 in Jettingen gesterf het. Sy vader was Alfred Klemens Friedrich Philippinian, die laaste Oberhofmarschall van die Koninkryk van Württemberg. Sy moeder was Caroline Schenk von Stauffenberg, née Gräfin von Gräfin von Üllküll-Gyllen, die edeltitel van Alfred August Graf von Üllküll-Gyllen en Präfinerie von Hessen.
Katolieke