Weil er die Norwegische Selbständigkeit in der Union verfocht, gehörte er zu den ersten Opfern der Kabinettsumbildung des Kronprinzen Karl Johan 1858, mit der dieser seinen Vertrauten Christian Birch-Reichenwald und dessen Anhänger in die Regierung holte.