Изначально он подарил его себе и своей семьей. Успешный промышленник и очень богатый человек, сэр Генри, достигнув к середине жизни славы и почестей, решил, наконец, воплотить свою мечту. Мечтой этой и стал замок -  строительство в центре Торонто началось в 1911 году, продолжалось 3 года и стоило владельцу суммы в 3,5 миллиона долларов. Чудное здание на холме получило наименование Каса Лома (Casa Loma) – собственно, «Дом на холме», как уже назвал это место предыдущий хозяин.

Замок был великолепен. Даже несмотря на то, что его отделка так и не была закончена из-за разразившейся Первой мировой войны. Видение серго Генри «средневекового замка» воплотилось в величественное сооружение с зубчатыми башнями, секретными проходами, 98 комнатами, 22 каминами, ботаническим садом с паровым отоплением, системой пылесосов, органом в два этажа и многими другими чудесами, поражавшими современников. К сожалению, война и строительство негативно сказались на финансовом состоянии сэра Генри – он разорился и был вынужден в 1923 году продать замок своей мечты.