Zahlreiche spätere Umbauten folgten, darunter das zum Fahrtor gelegene Zoll- und Wachhaus, der Rententurm (1454–1456), der barocke Bernusbau (1715–1717) und der 1840–1842 im Stil der italienischen Romanik errichtete Burnitzbau.