Um 1714 wurde die Burg devastiert und das so gewonnene Baumaterial durch den Grundherrn Franz Karl von Kolowrat zum Bau der Wallfahrtskapelle St. Nepomuk verwendet, die von seinem Nachfolger Johann Wenzel von Breda 1734–1736 vollendet wurde.