Nachdem Graf Anton III. wegen der immensen Schuldenlast von der Regierung abgetreten war, ließ sein Sohn Ernst (1700–1755) lediglich 1731 die Hofkapelle vollenden. 1753 brannte das Schloss bis auf die Erdgeschossgewölbe aus.