Второе название у особняка - Дворец великой княгини Ольги Александровны. Особняк Барятинских - один из многочисленных дворцов бывшей Сергиевской улицы, сейчас это улица Чайковского, которая находится в центре Санкт-Петербурга. Памятник архитектуры берет свое начало с 1790 года, когда он числился, как Дом Апрелевых и принадлежал семье артиллерийского специалиста Фёдора Ивановича Апрелева. С 1837 года оба дома перешли к семье Барятинских.