In seinen späteren Jahren ist er in die Provinz Shinano in die Burg Takatō ( ) gegangen, und als er mit 81 Jahren aufgrund hohen Alters an einer Krankheit verstarb, soll ihm bis dahin die Heimkehr versagt geblieben sein.