Weitere Umbauten wurden ab dem 16. Jahrhundert bis ins 18. Jahrhundert unter der Prämisse der Wehrhaftigkeit vorgenommen; der Residenzcharakter trat dabei langsam auch architektonisch wieder in den Hintergrund.