In der Bundesligasaison 2006/07 stieg der 1. FSV Mainz 05 als Tabellen-16. wieder in die 2. Bundesliga ab. Im April 2008 kündigte Klopp an, im Fall des Nichtaufstiegs des 1. FSV Mainz 05 in die Bundesliga seinen auslaufenden Vertrag nicht zu verlängern.