Ранее на месте дома № 16 размещался конный цирк. И до 1892 года у владельца столь успешного предприятия Карла Маркуса Гинне была, пожалуй, одна забота, да и та, на его взгляд, пустяшная. В цирке наверху на галерее, там, где располагались самые дешевые места, царила ужасная теснота, отчего у посетителей случались обмороки. Зато пожар в упомянутом году был куда страшнее: деревянное здание сгорело фактически без остатка, и на воссоздание цирка у импрессарио средств не нашлось. Освободившийся около ее дома, участок купила Варвара Алексеевна Морозова, решив сделать подарок младшему сыну Арсению на его день рождения. 

В начале 1890-х годов представитель богатого купеческого рода Арсений Морозов на участке задумал построить невиданный особняк. И архитектором видел только Виктора Мазырина.За вдохновением зодчий и заказчик отправились в Испанию и Португалию. И вот перед их глазами предстал замок Palacio Nacional da Pena в Синтре. Вернувшись в Москву, Арсений Морозов загорелся идеей построить себе дом-замок, подобный увиденному дворцу. И вскоре на месте небольшого классицистического особняка появился необычный дом. 

Портал входа с башнями, витые колонны, россыпь лепнины в виде ракушек, парадная столовая в виде «рыцарского зала», гостиная в силе ампир, комнаты «барокко», арабская и китайская — все это появилось в чудесном особняке. Лишь в одном пришлось отступить от изначального замысла: стены дворца в Синтре увиты виноградом, а в Москве он растет плохо. Но и здесь нашелся выход: особняк Морозова украсили каменные гроздья. Еще во время строительства дом стал объектом насмешек, сплетен и критики. А Лев Толстой и вовсе вложил в уста князя Нехлюдова в романе «Воскресение» фразу о строительстве глупого ненужного дворца какому-то глупому и ненужному человеку. «Раньше я одна знала, что ты дурак, а теперь об этом узнает вся Москва». Так оценила В.А. Морозова дом своего сына.Дом был принят московской публикой в штыки. Разгромные статьи, злые шутки, карикатуры, дом называли образцом безвкусия. 

Экзотичный особняк на Воздвиженке украсили многочисленные знаки. Например, узел из канатов — символ долголетия. Однако Арсению Морозову суждено было недолго жить в своем причудливом доме.В 1908 году он на спор прострелил себе ногу, пытаясь доказать, что человек может вытерпеть любую боль. Сдержав крик, Морозов спор выиграл и продолжил кутить. В результате в сапоге собралась кровь, и началось заражение, от которого он умер через 3 дня в возрасте 35 лет. Конечно, в газетах указывали другие причины скоропостижной кончины Арсения Морозова. Но гораздо больше общество занимало судебное разбирательство между бывшей супругой Морозова и любовницей, которой он завещал свое состояние и экзотический особняк. Победила любовница. 

После революции в доме Арсения Морозова был первый Рабочий театр Пролеткульта, где ставили спектакли Эйзенштейн и Мейерхольд.Бывал Сергей Есенин,В.Маяковский.Затем здание отдали под дипломатическую миссию. И сейчас здесь Дом приемов Правительства Российской Федерации. 

Здание, сочетающее элементы эклектики и модерна, стилизовано в неомавританском духе - редчайшая для Москвы экзотика. 

На сегодняшний день роскошный особняк считается одним из красивейших и необычных домов Москвы, но современники встретили его строительство с удивлением и скептицизмом, из-за чего, перемешавшись со впечатлениями от личности владельца, особняк получил народное название "Дом дурака". 

На первый взгляд асимметричная постройка напоминает сказочный восточный замок с невероятно вычурным и пышным оформлением. Парадный вход выполнен в виде огромного подковообразного портала, декорированного двумя колоннами в виде переплетённых канатов, по обе стороны от него - башни с кружевными аттиками и карнизами, фасады которых украшены лепниной в виде ракушек. В остальном особняк сочетает различные архитектурные стили: классицизм, неоготику, барокко. 

Оконные и дверные проёмы украшены растительными орнаментами и цветочной лепниной, балюстрады балконов - причудливым кружевом. Примечателен медальон над дверью парадного входа: на нём изображён сидящий на цепи дракон. Интерьеры особняка тоже демонстрировали широкие взгляды хозяина: гостиная, где проводились балы, была выполнена в ампире, парадная столовая - "Рыцарский зал" - оформлена в духе псевдоготики, гардеробную супруги хозяина исполнили в барочном стиле. 

Экстравагантный внешний вид особняка вызывает у прохожих восторг и удивление; для тех, кто видит его впервые, здание становится неожиданным сюрпризом, который никак не ожидалось увидеть на старой московской улице.