Etwa 14 Jahre später erwarb Johann Martin Obersperger das Anwesen und ließ es wieder neu aufbauen. 20 Jahre später ließ der neue Schlossbesitzer Georg Lankes zwei Stockwerke des Schlossturms abtragen und so verlor das Gebäude mehr und mehr sein Gesicht.