Kan'eiji was tot 1868 een zetel van grote macht, toen het het slagveld werd in de laatste stelling van het shogunat tegen het keizerlijk leger en de meeste gebouwen werden vernietigd.
Het merendeel van de gebouwen in Kan'eiji werd in de late 19e eeuw afgebroken.