Il a été ministre fédéral de la Coopération économique et du Développement de 1961 à 1966, ministre des Affaires étrangères de l'Allemagne et vice-chancelier de 1969 à 1974, chancelier par intérim de l'Allemagne du 7 mai au 16 mai 1974 - LRB- après la démission de Willy Brandt après l'affaire Guillaume -RRB-, et enfin en tant que Président de l'Allemagne de 1974 à 1979.
Quelques semaines plus tard, Scheel est élu président fédéral de l'Allemagne de l'Ouest, poste qu'il occupe de juillet 1974 à juin 1979.