1195年頼朝は家族を連れて再上洛し、奈良東大寺の再建落成式に出席します。東大寺大仏殿は源平戦乱で焼失し、大仏の首がとれ、それを頼朝が再建した、これは伝統勢力との融和であり、娘の入内に対する工作です。しかしその意図は失敗、彼は失意の晩年を送ったようです。没年は1199年で、死因はなんと「落馬」・・・嗚呼、征夷大将軍。どうみても不可解ですね。まだ51歳です。でも憶測はやめましょう。多分心筋梗塞か脳卒中を起こして落馬したのでしょう。
　後を継いだのは18歳の長男頼家、これが苦労知らずのとんでもない御曹司で、側近や妻の実家である比企氏を重用し長老を無視したため、武士たちから総スカンをくらい、実権を取り上げられ、酒色におぼれる。そのため、ついに伊豆の修善寺にて病気療養という名目で鎌倉追放となります。その引導を渡したのは母政子でした。彼女は実の息子よりも幕府の安泰を選んだのです。頼家は、翌年の元久元年（1204年）7月19日、北条氏の手兵によって殺害されます。