Door de vroomheid van Yoritomo kreeg hij een beetje meer tijd om van zijn succes te genieten; hij was 52 toen hij door een paard werd gegooid en aan zijn verwondingen overleed.
Yoritomo overleed als gevolg van paardrijzers.