미나모토노 요시쓰네
1181년 기요모리가 죽은 뒤 헤이케는 점차 기울기 시작했고, 각지에서 일어나는 겐지들의 반헤이케 거병에 밀린 헤이케는 결국 교토를 떠나 본거지인 서쪽으로 낙향하기에 이르렀고, 이때 안토쿠 천황과 삼종신기를 함께 가지고 가버린다. 주에이 2년(1183년) 7월에 기소 요시나카(木曾義仲, 미나모토노 요시나카)가 헤이시를 교토에서 몰아내고 가장 먼저 교토에 들어간다. 하지만 고시라카와 법황은 헤이시 추토의 공적을 논하면서 1등을 요리토모로 두고 요시나카를 2등으로 두는 등 요시나카를 낮게 평가하면서, 거꾸로 요리토모가 교토로 들어와주기를 기대하였다. 8월 14일에 요시나카는 후계 천황으로서 자신이 직접 옹립한 호쿠리쿠노미야(北陸宮)를 천거하지만 고시라카와 법황은 이에 격노하고, 요시나카를 제치고 요리토모에게 선지를 내려(주에이 2년 10월의 선지) 요리토모에게 간토 지역의 지배권을 인정해주기에 이르면서 양자간의 대립은 격화된다. 요리토모는 윤10월 5일에 가마쿠라를 떠났지만, 다이라노 요리모리로부터 교토의 심각한 식량부족 상황을 전해듣고 교토로 가는 것을 중지하고, 대신 요시쓰네와 나카하라노 지카요시(中原親能)를 대관으로서 교토에 보냈다. 당시 구교였던 구조 사다자네의 일기 《교쿠요》윤 10월 17일조에는 "'요리토모의 아우인구로(九郞)'라는 자가 대장군으로서 수만의 군병을 거느리고 교토로 왔다"고 하면서, 구로에 대해서 "이름은 모르겠다"고 적었다. 이것이 귀족의 일기에 요시쓰네가 처음으로 등장하는 사례이다.
다이라노 기요모리
기요모리의 사후, 장남 시게모리는 이미 병사했고, 차남 모토모리(基盛)도 일찍 세상을 떠났기에 헤이시의 동량 자리는 셋째 아들 무네모리(宗盛)가 물려 받았으나 그는 각지에서 일어나는 잇따른 거병에 제대로 대처하지 못했고, 또한 법황의 계략에 놀아나서 인세이파가 세력을 늘리는 것도 막지 못하는 등 헤이시는 서서히 궁지에 몰리게 되었다. 게다가 요와의 대기근 등 자연적 악조건 등까지 겹쳐 주에이(壽永) 2년(1183년) 구리가라(倶利伽羅) 고개에서 미나모토노 요시나카군에 의해 헤이시군이 괴멸된 뒤에는 어떻게 손을 쓸 사이도 없이 교토를 떠나 서쪽으로 쫓기듯이 달아났다. 그리고 겐랴쿠(元曆) 2년(1185년) 단노우라(壇ノ浦) 해전에서 미나모토노 요시쓰네(源義經)의 수군에 패하여 헤이시는 멸망했다.