Auf die ritterlichen Familie Tremsbüttel folgten die Familien Beynsflet und Heest, dann die Lauenburgischen und ab 1544 die Schleswig-Holsteinischen Herzöge, unter denen die Burg vor allem als Jagdsitz diente.