Свой нынешний вид «Ласточкино гнездо» получило благодаря нефтяному промышленнику барону Штейнгелю. Он занимался бакинской нефтью, а отдыхать ему нравилось в Крыму. Он приобрёл на Аврориной скале дачный участок и решил построить там романтический замок, который напоминает средневековые сооружения на берегах Рейна. Проект нового дома был заказан инженеру и скульптору Леониду Шервуду, сыну архитектора Владимира Шервуда, автора Исторического музея на Красной площади в Москве. Уже в 1912 году на тесной площадке отрога Монастыр-Бурун стоял оригинальный готический замок. Задуманная архитектором ступенчатая композиция исходила из малых размеров участка. Здание 12-метровой высоты располагалось на фундаменте шириной 10 и длиной 20 метров. «Птичьим» объёмам отвечало внутреннее устройство: прихожая, гостиная, ступеньки и две спальни последовательно располагались в двухэтажной башне, которая поднималась над скалой. Рядом со зданием был разбит сад, который в результате землетрясения обрушился в море.
В начале Первой мировой войны имение купил московский купец П. Шелапутин, который открыл в замке ресторан. В скором времени купец умер и ресторан закрылся.
В 1930-е годы здесь находился читальный зал местного Дома отдыха, но в скором времени помещение признали аварийным и закрыли.
После реконструкции строение вновь открылось для посещения. В настоящее время внутри расположен ресторан, а возле стен дворца можно приобрести различные сувениры.
Легенда гласит, что в 1641 году голландский капитан Филипп Ван дер Декен (или по некоторым версиям Ван Страатен) возвращался из Ост-Индии и вёз на борту молодую пару. Капитану приглянулась девушка; он убил её суженого, а ей сделал предложение стать его женой, но девушка выбросилась за борт. При попытке обогнуть мыс Доброй Надежды корабль попал в сильный шторм. Среди суеверных матросов началось недовольство, и штурман предложил переждать непогоду в какой-нибудь бухте, но капитан застрелил его и нескольких недовольных, а затем поклялся, что никто из команды не сойдёт на берег до тех пор, пока они не обогнут мыс, даже если на это уйдёт вечность. Этим Ван дер Декен, слывший страшным сквернословом и богохульником, навлёк на свой корабль проклятие. Теперь он, бессмертный, неуязвимый, но неспособный сойти на берег, обречён бороздить волны мирового океана до второго пришествия. Хотя, по некоторым версиям, у него есть шанс обрести покой: раз в десять лет Ван дер Декен может вернуться на землю и попытаться найти ту, что добровольно согласится стать его женой.
Первое печатное упоминание о «Летучем голландце» появляется в 1795 году в записках ирландского полисмена Джорджа Беррингтона «Плавание к Ботаническому заливу» (англ. A Voyage to Botany Bay).