Первоначально здание музея в стиле модерн, построенное российским архитектором Федором Шехтелем в 1902 году, принадлежало миллионеру С. П. Рябушинскому. Строительство началось, когда Рябушинскому было 26 лет. В этом доме он с семьей прожил вплоть до революции 1917 года, когда все семейство подверглось гонениям и спасалось в эмиграции.