Mundell avait été secrétaire écossais de l'ombre dans le cabinet fantôme du Parti conservateur à l'approche de l'élection générale de 2010.
De décembre 2005 à l'élection générale de 2010, il a été le Secrétaire d'Etat fantôme pour l'Ecosse.