Zu Beginn des 20. Jahrhunderts gab es immer wieder Debatten über den Abbruch dieses mächtigen Turmes, weil er mit seiner niedrigen Dachtraufe in die Paris-Lodron Straße hineinragte und in den Augen der Stadterneuerer ein Verkehrshindernis darstellte.