Il a été ministre fédéral de la Coopération économique et du Développement de 1961 à 1966, ministre des Affaires étrangères de l'Allemagne et vice-chancelier de 1969 à 1974, chancelier par intérim de l'Allemagne du 7 mai au 16 mai 1974 - LRB- après la démission de Willy Brandt après l'affaire Guillaume -RRB-, et enfin en tant que Président de l'Allemagne de 1974 à 1979.
Pendant la Seconde Guerre mondiale, il a servi dans la Luftwaffe, les dernières années de la guerre en tant qu'opérateur de radar sur un chasseur de nuit Me 110.