Началом истории этого великолепного дворца можно считать 50-е годы XVIII века, когда в небольшую рыбацкую деревушку Брайтхельстоун, что была недалеко от Лондона, приехал доктор Ричард Рассел. Будучи известным и уважаемым врачом того времени, он предлагает новый вид лечения от всех болезней – морские ванны. Кому-то действительно помогло, кто-то следовал за модой, но вскоре в Брайтхельстоун (который быстро вырос в город Брайтон) потянулось множество богатых людей, желающих иметь домик на берегу моря (для поправки здоровья). Одним из таких людей был принц Уэльский, будущий принц-регент, а затем и король Георг IV.