Бывшая ферма под названием Хоофтвюндер была превращена в замок, названный в честь его владельца Джерарда Стерка. Замок долгое время был домом для музея серебра с великолепной коллекцией серебряных предметов. В четырнадцатом веке Хоофтвюндер был укрепленной усадьбой посреди сельской деревня недалеко от Антверпена. Ферма — самая большая в регионе — была окружена рвом. В последующие века ферма превратилась в большой комплекс, включающий дополнительный дом и собственную пивоварню.

Поместье несколько раз переходило из рук в руки, пока в 1524 году не было продано антверпенскому торговцу Джерарду Стерку. Стерк был богатым банкиром и одним из главных финансистов императора Карла V. Облагороженный банкир разрушил существующую ферму и заменил ее замком, больше подходящим человеку его положения. Замок стал известен как Стерксхоф.

В течение следующих бурных веков — когда грабители-бандиты из Мартена-ван-Россема, а также испанские и австрийские захватчики разорили регион, — замок получил некоторый урон, но остался относительно невредим. В течение восемнадцатого и девятнадцатого веков, однако, замок начал приходить в упадок из-за отсутствия ухода, и к тому времени, когда провинция Антверпен приобрела Стерксхоф в 1921 году, он превратился в руины.

Планы восстановления Стерксхофа появились еще в 1922 году. Архитектор Яак Альфонс ван дер Гухт основывал свои планы на исторических иллюстрациях замка. Реконструкция здания постоянно откладывалась, главным образом потому, что власти не определились с использованием замка. Строительство в конце концов началось в 1931 году, чтобы задействовать тех, кто потерял работу во время Великой депрессии.

Когда замок был перестроен в 1936 году, планировалось использовать Стерксхоф в качестве музея под открытым небом, посвященного фламандской культуре. Вторая мировая война разрушила эти планы, и в конце концов Стерксхоф стал домом для более традиционного музея.

Сначала в нем располагался музей фламандской цивилизации, который превратился в музей ремесел, который позже специализировался на серебряных артефактах. В итоге, его стали называть Зильвермузеум (Музей серебра). В 2014 году музей закрыли, но он был вновь открыт в 2018 году в историческом особняке на улице Гильдекамерсраат в центре города, как часть нового музея «DIVA».