Geschwächt durch häufige Erbteilungen, mussten die Herren von Eller ihren Stammsitz 1448 an Ritter Adolf von Quade verkaufen, der die alte Burg niederlegen und stattdessen bis 1469 eine Wasserburg erbauen ließ.