Graf sündis Baieri Kuningriigis Bergis, mis asub Müncheni lähedal Starnbergi järve ääres. Ta oli küpsetaja Max Grafi ja tema naise Therese (sündinud Heimrath), talupidaja tütre üheksas laps. Alates 1900. aastast käis ta riigikoolis Bergi linnaosas Aufkirchenis. Pärast isa surma 1906. aastal õppis ta küpsetaja ametit ja töötas oma venna Maxis, kes oli võtnud üle nende isa küpsetuse.
üheksas laps