Nachdem es baufällig geworden war, gab Herzog Christoph von Württemberg die Anweisung zum Abriss, die in den Jahren 1556 und 1557 ausgeführt wurde; der Monarch wollte verhindern, dass im evangelischen Württemberg Wallfahrtsorte entstünden.