Drie jaar later in 1159 het Yoshitomo en Fujiwara no Nobuyori Go-Shirakawa onder huisarres geplaas en sy bediende, die geleerde Fujiwara no Michinori, doodgemaak in wat die Heiji-opstand genoem word. Uiteindelik het Taira no Kiyomori, ter ondersteuning van Go-Shirakawa, Yoshitomo verslaan. Terwyl hy uit Kyoto ontsnap het, is Yoshitomo gedwing om sy seun Tomonaga dood te maak. Later is Yoshitomo verraai en in sy bad doodgemaak. Drie van sy seuns, Yoritomo, Minamoto no Yoshitsune en Minamoto no Noriyori, is later deur Kiyomori gespaar en in ballingskap weggevoer.
Yoritomo, Minamoto nie Yoshitsune en Minamoto nie Noriyori