頼朝の派遣した大軍が迫る中、義仲に従う武士たちはどうも義仲の将来が暗そうだと分かり始めます。後白河法皇、後鳥羽天皇を幽閉した暴挙もそうだし、大義名分でも鎌倉軍の方に分がありました。こうなると寄せ集めの悲しさ、次々と逃亡者が出てきます。叔父新宮十郎行家などは危険を察知しいち早く京都を離脱、河内国長野城に立て籠もりました。義仲は樋口兼光の軍勢を派遣しこれを撃破、たまらず行家は紀伊国に逐電し行方不明となります。
入京を果たした時五万を数えた義仲軍は、わずか数千にまで激減していました。一方逆賊義仲討伐を唱える鎌倉軍は、参加者が相次ぎ総勢六万を超えます。この中には義仲軍から鎌倉軍に乗り換えた者もかなりいました。義仲は、鎌倉軍を瀬田で防ごうと考えます。ところが古来瀬田で防げた例はありませんでした。
鎌倉軍の主力蒲冠者範頼指揮する本隊三万五千は瀬田に迫っていたため、義仲は腹心今井兼平に五百余騎を与え瀬田の唐橋を守らせます。宇治方面には根井行親、楯親忠ら三百騎を与え側面からの廻り込みに備えさせました。義仲は百余騎で院御所を守ります。
鎌倉軍では、宇治方面を任せられた源義経率いる別働隊二万五千が攻めよせました。1184年1月24日、合戦の火蓋が切られます。義仲軍が矢の雨を降らせ敵軍の渡河を必死に防ぐ中、梶原景季、佐々木高綱による有名な宇治川の先陣争いが起こりました。ただ兵力差がありすぎるので、鎌倉軍の勝利は動かず誰が先陣でも結果は変わらなかったと思います。義経は、敗走する義仲勢をそのまま追撃し京都市街に乱入しました。
義仲も手勢を率いて防ぎますが、この段階ではどのように軍才があっても逆転できるはずはなく敗北します。義仲は後白河法皇を拉致し西国に逃げようと画策しますが、義経軍が一足早く院御所を確保。義仲は、なおも粟津で頑張っている股肱の臣今井兼平と合流し、本拠北陸に脱出し再起を図ろうと考えました。
粟津（大津市）は近江国瀬田川の西岸にあり、すでにこの戦線でも兵力差がありすぎ範頼軍の突破を許していました。粟田口から大津へ向かうべく義仲一行が琵琶湖に達した時奇跡的に今井兼平と出会います。すでに義仲一行は六十騎にまで討ち減らされていました。そこへ甲斐源氏の一条忠頼（武田信義の嫡男）の軍勢が殺到。もはやこれまでと覚悟した義仲は死に場所を求めて彷徨います。
義仲は粟津の松原で自害しようと考えました。ところが馬が深田に脚を取られよろめきます。そこへ敵の放った矢が顔面に命中、絶命しました。享年31歳。風雲児の最期です。主君の死を知った今井兼平も、後を追って自害。同じく死を覚悟した妹巴御前だけは生け捕られたそうです。
その頃、新宮十郎行家を追っていたため戦に間に合わなかったもう一人の股肱の臣樋口兼光も主君と兄弟の死を知ります。鳥羽まで達した時自害を考えますが、義仲の父東宮帯刀先生義賢以来浅からぬ因縁がある児玉党が降伏するよう説得、兼光もこれに従いました。範頼、義経は、義仲個人には恨みなどなかったのでこれを受け入れ、院にお伺いをたてました。ところが多くの近臣を殺され自身も幽閉されていた後白河法皇の怒りは凄まじく、結局斬罪と決まります。処刑の日樋口兼光は堂々とした態度で刑に服したそうです。
こうして木曽冠者義仲とその一党は滅亡しました。義仲の失敗は軍事的才能はあっても政治力が皆無だった事です。実は義仲を滅ぼした義経にも共通した欠点です。頼朝だけが後白河法皇と張り合えるだけの抜群の政治力を持ち、大江広元など有能な側近団を有し天下人としてふさわしい人物でした。決して軍事力だけでは天下は取れません。頼朝が天下を制したのは当然の帰結と言えるでしょう。
ちなみに戦国時代の木曽氏は義仲の子孫を称しました。また上杉家の家老直江兼続（元の名は樋口与六）も樋口兼光の後裔を名乗ります。時代が隔たっているのではっきりとは言えませんが、信濃や北陸に生きる者にとって義仲とその一党の歴史が深く刻み込まれていた証拠かもしれません。
巴御前のその後ははっきりしません。義仲はじめ戦で亡くなった所縁の者たちの菩提を弔うため尼になったとも、和田義盛に所望され後妻になって朝比奈義秀を生んだとも言われます。男勝りで薙刀をひっさげ活躍したなどと軍記物で描かれますが、史実では記述がなくその存在が確認されるのみです。ただ、尼になって91歳でひっそりと生涯を終えたという話が巴らしくはあります。
義仲滅亡によって、鎌倉の頼朝は直接後白河法皇と対決することとなりました。平家勢力はまだ残っていましたが、頼朝と法皇の見ているのは未来でした。頼朝の鎌倉武士政権が勝つのかそれとも後白河院政が復活するのか？実際の戦とは別に、表には出てこない高度な政略・外交戦が繰り広げられることとなります。京都において頼朝の意思を代弁するのは中原親能でした。そして鎌倉には親能の弟大江広元や三善康信がいます。
