Особняк или дворец Бобринских назван так в честь семьи, владевшей им с 1798 по 1917 год. Родоначальник семьи – Алексей Григорьевич Бобринский (1762–1813). Внебрачный сын императрицы Екатерины и Г.Г.Орлова, Бобринский в детстве считался сыном камердинера императрицы Екатерины II В.А.Шкурина и воспитывался с его сыновьями.

После воцарения императора Павла I Алексей Бобринский получил приказание явиться ко двору. Император назвал его «братом», возвел в графское достоинство, назначил генерал-майором, Почетным опекуном и управляющим Санкт-Петербургским воспитательным домом. Дворец на Галерной улице стал подарком императрицы Марии Федоровны графу А.Г.Бобринскому.

Дворец находится в одном из старейших районов города, который уже в конце XVIII века считался достаточно престижным. В 1790 году здание было куплено известным сенатором Петром Васильевичем Мятлевым, для которого и было перестроено итальянским архитектором Луиджи Руска. Это первая самостоятельная работа зодчего, крупного представителя неоклассицизма, ставшего впоследствии придворным архитектором. Внешний вид дворца с тех пор не претерпел серьезных изменений. В1796 году в комплекс на Галерной улице вошло ещё одно здание (№60)  - бывший дом архитектора Саввы Чевакинского. В 1797 году оба дома перешли в собственность графа А.Г.Бобринского.

В XIX веке дворец был одним из самых знаменитых центров светской и культурной жизни Петербурга. Салон графинь Бобринских привлекал дипломатов и литераторов, его посещали императоры Александр I, Николай I, а на балах танцевала «вся столица».

Анна Владимировна Бобринская (1769–1846), супруга А.Г.Бобринского, урожденная баронесса Унгерн-Штернберг, расширила дворец, отделала по последней моде его интерьеры и основала салон, в котором бывали В.А.Жуковский, П.А.Вяземский, К.Нессельроде, А.М.Горчаков. Частым гостем А.В.Бобринской был А.С.Пушкин.

Старший сын Алексея Григорьевича Алексей Алексеевич Бобринский (1800–1868) и его супруга графиня Софья Александровна, урожденная Самойлова (1799–1866), продолжили традиции дома. На Галерной, 60 собирался литературный кружок, участниками которого были А.С.Пушкин, А.М.Горчаков – приятели хозяина, В.А.Жуковский – поклонник графини, посвятивший ей ряд своих произведений.

В 1822–1825 годах парадные интерьеры дворца были перестроены архитектором А.А.Михайловым Вторым (среди других известных работ архитектора: Российская академия наук, церковь святой великомученицы Екатерины, вестибюль Академии художеств, интерьеры Юсуповского дворца на Мойке).

Последний хозяин усадьбы из рода Бобринских – граф Алексей Александрович Бобринский (1852–1927), историк, археолог, сенатор, предводитель дворянстваСанкт-Петербургской думы, вице-президент Академии художеств (1889–1890), с 1896 года – председатель Археологической комиссии.

В годы Первой мировой войны хозяева разместили во дворце военный госпиталь. В 1919 году семья Бобринских эмигрировала во Францию.

До настоящего времени частично или целиком сохранились интерьеры 15 помещений. Это анфилада комнат выходящих на Ново-Адмиралтейский канал и комнаты, примыкающие к ней. Весьма высока вероятность того, что прекрасно сохранившиеся росписи потолков были выполнены популярнейшим мастером того времени – Джованни Батиста Скотти.

За время владения дворцом графы Бобринские собрали в своем доме ценную библиотеку в 20 тыс томов, где хранились, в частности, и рукописи В.А.Жуковского. Гостиные и кабинеты дворца были украшены великолепной коллекцией бронзы – около 500 предметов, десятками шпалер и ковров (в комнатах до сих пор сохранились крепления для их развески). Собрания фарфора и серебра выставлялись в специальных витринах, так же как и «ценные древности» – монеты, лиможские эмали, драгоценности, табакерки. Стены украшали портреты кисти Д.Левицкого, Ж.-Б.Греза, картины С.Щедрина и др. На уникальность интерьеров и художественного убранства дворца указывал А.Н.Бенуа. И.А.Фомин при постройке в 1910-х годах неоклассических усадеб брал за образец отделку дворца графовБобринских.

13 декабря 2001 года Федеральной комиссией по Управлению государственной собственностью дворец Бобринских был передан Санкт-Петербургскому государственному университету. C 2002 года в помещениях дворца проводятся занятии Факультета свободных искусств и наук. В настоящее время в здании ведутся реставрационные работы. В рамках проекта реконструкции дворца предусмотрено сохранение фасадов, конфигурации кровель, сводчатых перекрытий первого этажа, а также реставрация уцелевшей декоративной отделки парадных помещений, металлической и кирпичной оград. Парадные помещения главного корпуса будут приспособлены под читальные залы библиотеки, конференц-центр и несколько больших аудиторий.