Om de vereniging van Japan na meer dan een eeuw burgeroorlog te vieren, had Hideyoshi het kasteel tot het grootste fort van het land gemaakt, dus de Tokugawa voelde zich verplicht het in 1615 te vernietigen nadat hij de macht van Hideyoshi's erfgenaam had weggenomen.
Hideyoshi versterkte een kasteel dat later werd vernietigd.