Nach Max Emanuels Flucht in die Spanischen Niederlande nach der Niederlage in der Schlacht von Höchstädt am 13. August 1704 blieben Karl Albrecht und seine Geschwister zunächst bei ihrer Mutter, die nunmehr die Regentschaft in München ausübte.