미나모토노 요시쓰네
1181년 기요모리가 죽은 뒤 헤이케는 점차 기울기 시작했고, 각지에서 일어나는 겐지들의 반헤이케 거병에 밀린 헤이케는 결국 교토를 떠나 본거지인 서쪽으로 낙향하기에 이르렀고, 이때 안토쿠 천황과 삼종신기를 함께 가지고 가버린다. 주에이 2년(1183년) 7월에 기소 요시나카(木曾義仲, 미나모토노 요시나카)가 헤이시를 교토에서 몰아내고 가장 먼저 교토에 들어간다. 하지만 고시라카와 법황은 헤이시 추토의 공적을 논하면서 1등을 요리토모로 두고 요시나카를 2등으로 두는 등 요시나카를 낮게 평가하면서, 거꾸로 요리토모가 교토로 들어와주기를 기대하였다. 8월 14일에 요시나카는 후계 천황으로서 자신이 직접 옹립한 호쿠리쿠노미야(北陸宮)를 천거하지만 고시라카와 법황은 이에 격노하고, 요시나카를 제치고 요리토모에게 선지를 내려(주에이 2년 10월의 선지) 요리토모에게 간토 지역의 지배권을 인정해주기에 이르면서 양자간의 대립은 격화된다. 요리토모는 윤10월 5일에 가마쿠라를 떠났지만, 다이라노 요리모리로부터 교토의 심각한 식량부족 상황을 전해듣고 교토로 가는 것을 중지하고, 대신 요시쓰네와 나카하라노 지카요시(中原親能)를 대관으로서 교토에 보냈다. 당시 구교였던 구조 사다자네의 일기 《교쿠요》윤 10월 17일조에는 "'요리토모의 아우인구로(九郞)'라는 자가 대장군으로서 수만의 군병을 거느리고 교토로 왔다"고 하면서, 구로에 대해서 "이름은 모르겠다"고 적었다. 이것이 귀족의 일기에 요시쓰네가 처음으로 등장하는 사례이다.
미나모토노 요시쓰네
결국 요시쓰네는 가마쿠라에 들어오지 못했고, 6월 9일에 요리토모는 요시쓰네에게 무네모리 부자와 다이라노 시게히라를 데리고 교토로 돌아갈 것을 명했다. 요리토모를 깊이 원망하게 된 요시쓰네는 "간토에 불만을 품은 자가 있거든 요시쓰네에게로 오라"고 말해버렸다. 이를 들은 요리토모는 요시쓰네의 영지를 죄다 몰수했다. 요시쓰네는 오미 국에서 무네모리 부자를 참수하고, 시게히라를 앞서 시게히라 자신이 직접 불태웠던 도다이사에 보냈다. 이 와중인 8월 16일에 이루어진 지모쿠에서 이른바 겐지 6인의 서위 임관에서 요시쓰네는 이요노카미를 겸임하게 된다. 한편 9월에 이르러, 요리토모는 교토의 로쿠조 호리카와 저택에 있는 요시쓰네의 모습을 찾도록 가지와라노 가게토키의 적남 가게스에(景季)를 보내어 일찍이 요시나카를 따랐던 숙부 유키이에 추토를 요청했지만, 요시쓰네는 바짝 야윈 몸으로 나타나서 자신의 병, 그리고 유키이에가 같은 겐지임을 들어 그것을 거절했다.