Im 20. Jahrhundert wurde versucht, die Zubauten unter Erzherzog Karl Ludwig wieder rückgängig zu machen, um einem Anblick nahezukommen, wie er durch den frühesten Stich von 1649 des Matthäus Merian bekannt ist.