Fehlende finanzielle Mittel und Desinteresse der damaligen Stadtführung leiteten einen langsamen aber steten Verfall des Bauwerkes ein. 1980 wurde er dann, auch auf Drängen engagierter Bürger der Stadt, auf die Kreisdenkmalliste gesetzt.