Im Jahre 1606 löste Markgraf Karl dann offenbar seinen Ambraser Hof endgültig auf, nachdem er einerseits bereits vorher seine eigentliche Residenz in Günzburg aufgeschlagen und andererseits beschlossen hatte, Schloss Ambras an Kaiser Rudolf II.