미나모토노 요시쓰네
1181년 기요모리가 죽은 뒤 헤이케는 점차 기울기 시작했고, 각지에서 일어나는 겐지들의 반헤이케 거병에 밀린 헤이케는 결국 교토를 떠나 본거지인 서쪽으로 낙향하기에 이르렀고, 이때 안토쿠 천황과 삼종신기를 함께 가지고 가버린다. 주에이 2년(1183년) 7월에 기소 요시나카(木曾義仲, 미나모토노 요시나카)가 헤이시를 교토에서 몰아내고 가장 먼저 교토에 들어간다. 하지만 고시라카와 법황은 헤이시 추토의 공적을 논하면서 1등을 요리토모로 두고 요시나카를 2등으로 두는 등 요시나카를 낮게 평가하면서, 거꾸로 요리토모가 교토로 들어와주기를 기대하였다. 8월 14일에 요시나카는 후계 천황으로서 자신이 직접 옹립한 호쿠리쿠노미야(北陸宮)를 천거하지만 고시라카와 법황은 이에 격노하고, 요시나카를 제치고 요리토모에게 선지를 내려(주에이 2년 10월의 선지) 요리토모에게 간토 지역의 지배권을 인정해주기에 이르면서 양자간의 대립은 격화된다. 요리토모는 윤10월 5일에 가마쿠라를 떠났지만, 다이라노 요리모리로부터 교토의 심각한 식량부족 상황을 전해듣고 교토로 가는 것을 중지하고, 대신 요시쓰네와 나카하라노 지카요시(中原親能)를 대관으로서 교토에 보냈다. 당시 구교였던 구조 사다자네의 일기 《교쿠요》윤 10월 17일조에는 "'요리토모의 아우인구로(九郞)'라는 자가 대장군으로서 수만의 군병을 거느리고 교토로 왔다"고 하면서, 구로에 대해서 "이름은 모르겠다"고 적었다. 이것이 귀족의 일기에 요시쓰네가 처음으로 등장하는 사례이다.
미나모토노 요시토모
그 뒤 노부요리를 떠나 아들 요시히라ㆍ도모나가ㆍ요리토모 3형제, 일족인 무쓰로쿠로(陸奧六郞) 미나모토노 요시타카(源義隆)ㆍ히라가 요시노부(平賀義信)ㆍ미나모토노 시게나리(사도 시게나리佐渡重成), 게닌이자 젖형제인 가마타 마사키요(鎌田政淸)ㆍ사이토 사네모리(齋藤実盛)ㆍ시부야 가네오마루(涉谷金王丸) 등을 데리고, 세력을 회복하기 위해 도카이도(東海道)로 향했지만, 이들에 대한 거듭되는 추격 끝에 아들 도모나가와 일족 요시타카ㆍ시게나리는 깊은 상처를 입고 목숨을 잃는다. 요리토모도 일행과 떨어져 붙잡히고, 요시히라는 호쿠리쿠도(北陸道)를 목표로 삼아 일단 이탈했다가 다시 교토로 돌아와 숨어있다가, 살아 남은 요시토모의 노토(郎党)와 함께 기요모리 암살을 시도하지만 실패하고 처형된다.