Als durch die Cholera 1836 mehrere Familienmitglieder starben, erlosch die bayerische Linie der Lodron. 1848 wurde das Patrimonialgericht aufgelöst. 1854 wurde das Schloss fast vollständig abgebrochen.