Nicht zuletzt wegen der ausufernden Bautätigkeit gerieten die Grafen in finanzielle Schwierigkeiten. 1570 kam es deshalb zur Sequestration der Grafschaft. 1591 mussten sie die Herrschaft Seeburg an die Grafen Hahn verkaufen.