Замок Гифу (он же замок Инабаяма (Inabayama)) возвышается на высоте 300 метров на горе Кинка (Kinka) над уровнем моря. Строительство замка началось в 1201 году по указу одного из высокопоставленных самураев правительства Камакуры, Никайдо Юкимаса и было закончено к 1204 году. На протяжении всей своей истории замок претерпел множество перестроек и реконструкций.

Их было так много, что даже в литературных источниках иногда встречается путаница.

Известно, что Такинака Ханбей однажды приехал в замок инабаяма проведать своего больного брата Саито Татсуоки (Saito Tatsuoki) (1548 – 14 августа 1573) - даймё провинции Мино, кстати Татсуоки был племянником жены Ода Набунаги принцессы Нох. Однако, за дружеским визитом Такинака скрывался план по убийству брата. Когда к стенам замок подошел отряд Такинака, Саито растерялся - он был полон уверенности в том, что замак пытаются захватить враги и бежал, что, впрочем и спасло его жизнь. Таким образом Такинака смог без усилий захватить замок.

Спустя некоторое время Саито вернул замок, своему законному владельцу. Однако к тому времени репутация хозяина замка была сильно испорчена тем, что он сбежал при первом виде вражеской армии. И в тот момент, когда Ода Нобунага (Oda Nobunaga) (1534-1582) атаковал замок Инабаяма большая часть защитников замка вспомнила о позорном бегстве своего хозяина и, нарушив свой долг, сдалась Оде без боя.

Сразу же после захвата замка Ода переименовал его по китайской традиции в замок Гифу. Через некоторое время по указу Оды в замок был приглашен португальский миссионер Люис Фроис (Luis Frois) (1532 – 8 июлья 1597), прибывший в Японию в 1563 году с миссионерской целью. В 1569 году Люис оказался в замке Гифу, где, пробыв совсем не долго, написал книгу, в которой воспел это удивительное место, возможно даже по указу Оды.