Während der nun folgenden Whig-Regierung unter Lord Russel wie auch unter der kurzlebigen protektionistisch-konservativen Regierung unter Lord Derby war Herbert in der Opposition und spielte politisch keine größere Rolle.