Die 2004 ebenfalls übernommene Funktion als stellvertretender Ministerpräsident gab er nach verlorenem parteiinternem Kampf um die Spitzenkandidatur am 14. Juni 2006 an Ulrich Goll ab. Pfister zog sich 2011 aus der Politik zurück.