Nach der Auflösung in der Säkularisation 1802 wurde es 1804 von den Krefelder Seidenfabrikanten Friedrich Heinrich von der Leyen und seinem Bruder Konrad von der Leyen erworben und zu einem Schloss der Familie von der Leyen umgebaut.