Yoritomo'nun dindarlığı ona başarısından zevk alması için biraz daha zaman kazandırdı; bir at tarafından atıldığında ve yaralarından öldüğünde 52 yaşındaydı.
Yoritomo at binme yaraları sonucu öldü.
Yoritomo 65 yaşında yatakta öldü.