Nach dem Tode seiner zweiten Frau Maximiliane, einer Tochter des damaligen Kurtrierischen Kanzlers Georg von Lichtenfels, genannt La Roche, übergab er seine Geschäfte den Söhnen Franz und Georg und zog sich völlig nach Koblenz in die Residenzstadt zurück.