Da die Mutter 1935 kurz nach der offiziellen Scheidung verstarb, wuchs er mit seinem Bruder Günther nach einem kurzen Intermezzo bei seinem Vater bei seinem Großvater Franz Spitzley und der Tante Gustel mütterlicherseits, die ihm den Haushalt führte, auf.