河内源氏の祖は清和源氏の始祖六孫王源経基の孫頼信です。頼信は父満仲の三男で、長兄は鬼退治で有名な摂津源氏の祖頼光、次兄は大和源氏の祖頼親でした。系図からも分かる通り、本来頼信の子孫が清和源氏の嫡流として約束されていたわけではありません。ちなみに、摂津源氏頼光の子孫から源三位頼政、美濃源氏土岐氏が出ています。
河内源氏が嫡流と見なされるようになったのは、なんといっても頼信の嫡男頼義、嫡孫義家の功績でした。頼義、義家父子は前九年の役、後三年の役で活躍し陸奥守、鎮守府将軍として関東に勢力を扶植、清和源氏の子孫の内最大の勢力を誇るようになります。
河内源氏代々の当主は、当時飛ぶ鳥を落とす勢いだった藤原摂関家と結び付き、摂関家の武力となる事でその勢力を維持しました。ところが平安時代末期、白河上皇によって院政がはじまると藤原摂関家の威勢は衰え、河内源氏も微妙な立場に立たされます。代わって台頭してきたのは、院の武力として使われた伊勢平氏でした。伊勢平氏もまた、桓武平氏の嫡流と決まっていたわけではなく、この時白河院政と深く結びついたのが最大勢力となったきっかけでした。
河内源氏の勢力減退は五代棟梁為義（1096年～1156年）と、嫡男義朝（1123年～1166年）との路線対立となって先鋭化します。義朝は、これまでのように藤原摂関家と深く結び付いていては河内源氏の衰退につながると父の方針に反発、新興勢力であった院と結び付こうとしました。このため、義朝は父為義の不興を買い廃嫡の危機に陥ります。
京における活動に限界を感じた義朝は、関東に下り鎌倉を根拠地に独自の勢力を築こうとしました。一方、為義は言う事を聞かない義朝を嫌い、次男義賢を溺愛します。義賢は東宮帯刀先生（とうぐうたちわきのせんじょう、正六位下相当）の官位まで与えられました。この段階で無冠の兄義朝と決定的な差がついたわけです。
無冠の義朝が、同じ河内源氏の下野国足利氏や南関東の豪族と結び付き独自の勢力を築いたことは為義やその主家藤原摂関家に警戒心を抱かせます。というのは義朝単独でこのような勢力を築けるはずがなく、その背後には鳥羽院の後押しがある事が明らかだったからです。
義朝は、関東を庶長子悪源太義平にまかせると、1143年前後上洛しました。当然鳥羽院に出仕し、摂関家に仕える父為義との間は冷戦状態となります。1143年には、院の近臣藤原季範の娘を娶り嫡男頼朝をもうけました。藤原季範と言えば熱田大宮司として有名ですが、それは晩年の事で当時は鳥羽上皇に仕えていました。
軍記物を読むと保元の乱で為義と義朝は涙の別れをしたと思われがちですが、すでにその前から対立は始まっていたのです。為義は、地盤である関東を義朝から奪還するために次男義賢を関東に派遣します。義賢は、武蔵国比企郡大蔵館（嵐山町）に拠りました。武蔵一の大豪族秩父重隆の娘婿になり、武蔵北部から上野国にわたり勢力を築きます。
1156年8月16日、義賢が住む大蔵館は突如一群の軍勢に襲われました。敵の総大将は悪源太義平。不意を突かれた義賢と舅秩父重隆は討死。義賢の忘れ形見駒王丸は生母と共に義平勢に捕えられます。いくら田舎とはいえ、このような私闘は本来許されるはずありません。当時の武蔵守は院の近臣藤原信頼（後に平治の乱を起こす）、義平の単独行動ではなく、明らかに院の意向か少なくとも武蔵守信頼の黙認が無ければできないはずです。という事は大蔵合戦は保元の乱の前哨戦とも言えました。
義平は、捕えた駒王丸の処刑を畠山重能（重忠の父）に命じます。重能は秩父氏の一族で宗家に逆らって義平方に付いていたのですが、わずか2歳の駒王丸の命を奪う事をためらいました。現実的に畠山氏の周辺には秩父氏の一族や義賢方の豪族がひしめいており、義賢の忘れ形見を殺すことで孤立する事を恐れたのが本音だったと思います。
駒王丸とその生母を自分の領地に護送する間も重能は悩み抜きました。途中京の大番役から帰ったばかりの斎藤別当実盛の一行と出会います。重能は実盛に事情を話し、善後策を相談しました。実盛は、親交のあった信濃国木曽谷の豪族中原兼遠に駒王丸を託すことに決めます。こうして駒王丸は従者と共に信濃国木曽谷に落ちて行きました。この駒王丸こそ、後の木曽冠者源義仲です。
