Saksamaa ei suutnud 2002. aasta edulugu edasi arendada ja jäi taas Euro 2004 esimesest voorust välja.
Seekord võitsid nad kaks esimest mängu võrdselt ja kaotasid kolmanda. Nagu ka 2000. aastal, kaotas meeskond juba edasijõudnud väiksema poole, sel juhul Tšehhi Vabariigist. Kuigi Saksamaa domineeris mängus, ei suutnud nad väravat teha, kaotades pausi ajal Tšehhi väravale. Völler astus pärast seda tagasi, süüdistades meedia pidevat kriitikat kuulsas televisiooniintervjuus. Rahvusmeeskond pidi leidma oma kolmanda uue treeneri kuue aasta jooksul, kuna eelmiste 75 aasta jooksul oli neil olnud ainult kuus treeneri. Kui potentsiaalsed kandidaadid, sealhulgas Ottmar Hitzfeld ja Otto Rehhagel, tööst loobusid, määrati endine rahvusmeeskonna mängija Jürgen Klinsmann, kes ei olnud kunagi varem olnud treeneritöös. Sarnaselt Beckenbauer'i endisele treenerivabadusele meeskonnajuhina määrati tema abiks kogenud Joachim Löw Stuttgartist.