Nachdem Graf Nikolaus Zichy verstorben war, verkaufte dessen Sohn Alexander das Schloss in Draßburg 1870 an den Siegendorfer Zuckerfabrikanten Konrad Patzenhofer, der es im Stil der Zeit renovieren ließ.