По возвращении в Москву из Испании Арсений Морозов загорелся идеей построить себе дом-замок, повторяющий в общих чертах стиль дворца Пена. На участке, подаренном матерью Варварой Алексеевной к 25-летию сына, вместо небольшого классицистического особняка начала XIX века вскоре вырос необычный дом. Ещё на стадии строительства он стал объектом насмешливых разговоров москвичей, сплетен, слухов и критических газетных публикаций. Общественное мнение восприняло экзотический особняк неодобрительно, как выражение крайнего эксцентризма. Разговоры вокруг строительства нашли отражение в романе Л. Н. Толстого «Воскресение» (опубликован в 1899 году): князь Нехлюдов, проезжая по Волхонке, размышляет о строительстве «глупого ненужного дворца какому-то глупому и ненужному человеку», имея в виду затею Морозова.