Фишер родился в Гераброне в земле Баден-Вель-1/4-Темберг, был третьим ребенком мясника, семья которого жила в Венгрии на протяжении нескольких поколений, но вынуждена была покинуть страну в 1946 году после того, как Венгрия была оккупирована Советским Союзом. и этнические немцы подвергались преследованиям со стороны венгерских властей и изгнаны из страны.
Фишер родился в Гераброне в земле Баден-Запад 1/4 октября. Его родители были немцами из Венгрии.