Человек, чью голову Киёмори так страстно желал заполучить, был старшим из трех оставшихся в живых детей Минамото, которых Киёмори отправил в ссылку в 1160 г.
Ёритомо было 14 лет, когда его отправили на Идзу, гористый полуостров Токайдо. Идзу входил во владения Тайра, и юноша был поручен заботам Фудзивара Сугэтика, союзника Тайра, а надзор за ним осуществлял Ходзё Токимаса, местный землевладелец, происходивший из рода Тайра.
Как опекун Сугэтика не отличался строгостью, и у юного Минамото было достаточно времени для военных упражнений и для размышлений о том, сколь гибельны для его семьи оказались чрезмерный энтузиазм и поспешность в использовании военной силы.
Говорят также, что Ёритомо разнообразил свои ученые занятия в области политики и военного искусства более приятным занятием — тем, что в народе называют "посевом диких каштанов". В результате его опекун однажды обнаружил, что стал дедом младенца Минамото.
Это так разъярило верного сторонника Тайра, что он убил ребенка и готов уже был расправиться с Ёритомо, но тот вовремя бежал к Ходзё Токимаса, где вскоре влюбился в дочь Ходзё и со временем женился на ней.
Существует легенда, что во время его изгнания Ёритомо посетил странствующий монах по имени Монгаку, который подарил ему череп его отца Ёситомо, тем самым вдохновив на восстание против Тайра.

Однако к мятежу его побудил не череп отца, а полученный 23 мая 1180 г. призыв от принца Мотихито. Вскоре после этого он получил известия об исходе битвы при Удзи, подтвердившие его мнение о бесполезности преждевременных действий.

13 июля Ёритомо получил еще одну плохую весть. Тайра Киёмори приказал схватить его и предать смерти. Кому было поручено это исполнить, он не знал; скорее всего это мог быть Тайра Канэтака, помощник наместника провинции.

Положение Ёритомо еще больше осложнилось к концу августа, когда после битвы при Удзи вернулся домой Оба Кагэтика, один из самых ревностных сторонников Тайра в районе Идзу. Еще один враг оказался рядом, к тому же в сопровождении значительного войска.