Während dieser Zeit wechselte Cardwell immer wieder seine Wahlkreise. 1847 wurde er für Liverpool gewählt, diesen Sitz verlor er 1852, wurde aber für Oxford gewählt. 1858 verlor er seinen Sitz für Oxford, konnte aber in der Nachwahl gewinnen.