Nach dem Aussterben der Greifenherzöge während des Dreißigjährigen Krieges kam das Schloss in den Besitz des schwedischen Statthalters Johan Banér (1596–1641), dessen Erben es 1648 an die schwedische Königinwitwe Maria Eleonora abtraten.