Als er 1716 starb, zeichnete sich bereits der Niedergang des fürstlichen Schlosses ab. Die nachfolgenden Herrscher residierten mehr in der Pfalz als im Herzogtum Berg und besuchten das Schloss nur selten.