Это одно из красивейших зданий города и свидетель важнейших исторических событий, бывшая императорская резиденция.

Строительство дворца началось в 1741 году по приказу императрицы Елизаветы Петровны. Построенный дворец, Елизавета подарила своему фавориту Алексею Разумовскому. Впоследствии дворец неоднократно выступал в качестве подарка, обычно на свадьбу.

После восшествия на престол Екатерина II, выкупив его у брата Разумовского, подарила его также своему фавориту графу Григорию Потёмкину.

Именно при Екатерине был произведен ряд значительных перестроек, в том числе по проекту архитектора Джакомо Кваренги, который придал дворцу его современный, более строгий и величественный вид.