5 июня 2006 года, после неудовлетворительных результатов на муниципальных выборах, Халлдор объявил о своей отставке с поста премьер-министра и заявил, что намерен уйти с поста лидера Прогрессивной партии в августе 2006 года.
Он ушел в отставку в 2009 году.