Река Эпт, на которой стоит замок, на протяжении нескольких столетий служила рубежом между французскими и английскими владениями в Нормандии. По обеим её сторонам было выстроено множество замков, наиболее важным из которых был Жизор. Он занимал стратегически важный пункт на вершине холма, господствующего над долиной Эпта. Через Жизор пролегали две дороги из Парижа в Руан: по реке и по суше.

Столь выгодно расположенный пункт вплоть до XV столетия оставался яблоком раздора. В 945 году французский король Людовик IV был вынужден отдать Жизор англичанам. В 1066 году другой французский король, Филипп I, отбил его у Вильгельма Завоевателя, но, увы, ненадолго. В 1087 году преемник Вильгельма Завоевателя, английский король Вильгельм II Рыжий полностью перестроил Жизор: насыпал искусственный холм высотой 14 метров и возвел на его вершине деревянные укрепления. В 1090 году новым владельцем замка стал рыцарь Тибо де Пайен — племянник Гуго де Пайена, основателя ордена тамплиеров. Так в первый раз судьба Жизора пересеклась с судьбой знаменитого ордена.