左大臣長屋王の失脚により朝廷の公卿の入れ替えが行われます。まず大納言多治比池守が730年老齢により没しました。その後任として大宰府から呼ぶ戻された大伴旅人も一年後病死。位階は高くとも名誉職の意味合いが強い皇族の舎人親王、新田部親王は別格として、長屋王の変をうけ藤原武智麻呂が大納言に昇進します。中納言には阿部広庭、参議には引き続き藤原房前がいたものの、新たに藤原四兄弟三男式部卿藤原宇合、同じく四男兵部卿藤原麻呂が参議に列せられます。9人の公卿のうち実に4人が藤原四兄弟で占められたのです。彼らは光明皇后の威光を背景に絶大な力を発揮しました。これを藤原四子政権と呼び729年から737年まで続きます。734年には武智麻呂が右大臣に昇進、藤原一族を掣肘しうる皇族の舎人親王、新田部親王が相次いで亡くなったため朝廷内で四兄弟に逆らえるものはいなくなりました。
当時の朝廷は、平安期の摂関政治と違い国家の重要事で最終決断を下すのは天皇です。ただ聖武天皇の皇后光明子は四兄弟の妹でしたので、彼女を通じて天皇の決断を促すことは可能でした。
一応、四兄弟も私利私欲に走ることなく善政を心掛けたのでしょうが、長屋王の変前後から日本国内は混乱し強盗・海賊が横行するようになります。山陽道方面では死者を祭って大衆に邪教を説く者もあらわれました。さらには平城京の東でも数千から数万に達する民衆を集め妖言する者まで出てきます。ただし、都の東郊で妖言する者とは僧行基のことでした。行基は668年河内国大鳥郡の豪族高志氏の子として生まれ14歳で出家、薬師寺に籍を置きます。しかし、大寺院に籠って仏道修行するのに飽き足らず、禁を犯して村里に出て仏法を説くようになりました。
最初は警戒していた朝廷も、行基が数万人を集めて説法するのを見ると反乱を起こされれることに恐れをなしたのか「行基法師に随行するもので法を守るものに限り僧尼になることを許す」と宣言せざるを得なくなります。こうして行基は朝廷に認められた行基法師となりました。光明皇后が仏道に帰依し保護したのも大きかったと思います。行基は聖武天皇が後に東大寺盧舎那仏建立を決意すると、大仏造営の勧進（寺院を建立するとき人手を集めたり、広く民間から寄付を集めること）に起用されました。行基は見事に期待に応え数万人の労働力と莫大な寄付を集めたそうです。この功績で行基は大僧正に任命されます。
国内の治安悪化に対しては各地に鎮撫使、畿内に惣管を設置し治安維持に努めました。光明皇后も藤原一族が不比等から相続した莫大な封戸（食封ともいう。朝廷から与えられた私的な領地の事）のうち庸（律令制の税法の一つ。賦役の代わりにものを収めること）を除いた分から薬草を購入し民間の治療にあたる施薬院を設けます。
732年、惣管、鎮撫使の役職は唐風に節度使と改称されました。東海・東山両道の節度使に藤原房前、山陰道に多治比県守、西海道に藤原宇合が任命されます。節度使は唐と同じく治安維持の他に軍権まで有する強大な権限を持っていました。四兄弟政権は奥羽に対する進出にも本腰を入れます。また関係の悪化した朝鮮半島の新羅との戦争に備えるなども行いました。
ところが、皮肉なことに新羅からの侵略は物理的なものではなく疫病でした。735年朝鮮半島に近い北九州で謎の疫病が流行り死者が多数出ているという報告が朝廷にもたらされます。どのように発症したかははっきりしませんが、一説によると野蛮人の船から疫病をうつされた一人の漁師によって広まったとも言われました。天然痘です。疫病は猛威を振るいまもなく日本全土に拡大しました。当時の全人口の2割から3割が失われたと言われ農民が数多く犠牲になったことから農業生産が激減し飢饉が起こります。これを天平の疫病大流行と呼ぶそうですが、735年から737年まで続きました。
天然痘は貴賤の別なく広がり、朝廷を主導していた藤原四兄弟の武智麻呂、房前、宇合、麻呂が737年同時に天然痘で亡くなるという悲劇に見舞われます。口の悪い者の中には、無実の罪で陥れられた長屋王の祟りだと噂する者もいたとか。朝廷の首脳が一気にいなくなったので、後任は生き残った者たちが担当するしかなくなります。その中で頭角を現したのは皇族出身の橘諸兄でした。
聖武天皇も天然痘の大流行と同時に起こった飢饉で多数の犠牲者を出したことに衝撃を受け仏法に頼って国難を打破することを考え始めます。741年聖武天皇は仏法による国家鎮護のため各国に国分寺、国分尼寺を建立し都には東大寺盧舎那仏を造営することを決意しました。
