Во время шведского нашествия литовский гарнизон, подчиненный Янушу Радзивиллу, находился в замке в Белостоке . Однако солдаты не послушались его и под командованием полковника Короткевича перешли на сторону королевской власти, подчиняясь Павлу Сапеле .

Портрет Яна Клеменса Браницкого кисти Августина Мириса и Изабеллы Эльжбеты Понятовской

Стефан Миколай Браницкий , отец Великого гетмана Короны Яна Клеменса Браницкого , поручил Тильману ван Гамерену превратить замок Веселовских в резиденцию в стиле барокко . Этот инженер из Утрехта был известен раньше, в т.ч. строительством дворца Красинских в Варшаве и резиденции предстоятеля Михаила Радзеёвского в Неборове.

Реконструкция 1691–1697 годов полностью изменила облик здания. Помимо прочего, одна из башен использовалась как лестница. Во второй башне были камеры. В ходе следующей реконструкции были возведены боковые флигели, построена ионическая колоннада и множество скульптур. Из бывшей военной истории замка видны только очертания бастиона у пруда. Существует также легенда о подземном переходе между замком и башней близлежащей приходской церкви, который также была приспособлена для защиты в 17 веке.

Семья Браницких собрала многих выдающихся художников, поэтов и ученых. Польский поэт эпохи барокко Эльжбета Другбачка оставался здесь на долгие годы , и поэт Францишек Карпинский работал здесь также.

Также был театр, придворный оркестр и балетная труппа, на гастроли приезжали итальянские актрисы. Двор Браницких посещали (и часто жили какое-то время): король Август II (1726-1727 и снова 1729), король Август III с женой и сыновьями Ксавери и Кароль (1744 и 1752), принц Курляндии Кароль Кристиан Веттин ( дважды в 1759 г.), епископ Игнаций Красицкий(1760), Станислав Август Понятовский (время от времени при жизни Браницкого, а после его смерти он часто навещал свою сестру и некоторое время оставался при дворе), Император Юзеф II Габсбург (1780), Великий князь Павел , впоследствии царь, с женой (1782 г.), король Людовик XVIII (1798 г.), а также послы Франции, Англии, Турции и России.

Согласно завещанию гетмана Браницкого , его жена Изабела должна была пожизненно владеть дворцом, затем он должен был быть передан семье Потоцких . Однако в результате падения Речи Посполитой наследники продали резиденцию королю Пруссии в 1802 году с той оговоркой, что он не сможет занять ее при жизни Изабелы. После Тильзитского в 1807 году дворец перешел в руки русского царя Александра I .

 
Во время русского раздела дворец был полностью разграблен. Деревья и кустарники были доставлены в царские резиденции, а более двадцати скульптур из сада - в Санкт-Петербург. В 1826 году скульптуры, украшавшие чердак, были сняты, орнаменты в стиле рококо на фасаде были сняты, а шлемы в стиле барокко были сброшены с крыши.

Белостокский институт благородных девиц в бывшем здании дворца Браницких

После приспособления комнат в 1841 году царским указом здесь разместили жалованье.для дам из русского высшего общества - Институт родовитых девиц. В то время из французского сада дворца было вывезено более сотни фигур. Причина заключалась в том, что обнаженные скульптуры могли развратить слушательниц. Частный театр гетмана Браницкого также был снесен, а уникальный занавес был разделен на четыре части и продан в Англии. Дальнейшая судьба частей занавеса неизвестна. В 19 веке большая часть садовых прудов была засыпана.

  
Дворец пережил Первую мировую войну без серьезных повреждений. В нем, в частности, располагался полевой госпиталь . После войны дворец был резиденцией провинциального управления и губернатора провинции. В течение короткого периода времени во время польско-большевистской войны дворец был также резиденцией Временного революционного комитета Польши .

Дворец, разрушенный  в боях за Белосток в 1944 году, вид 1945 года.

В настоящее время ведутся работы по реконструкции садов в стиле барокко с целью восстановления их до состояния 18 века. С этой целью были проведены археологические работы и исследования старых планов и описаний той эпохи. Реконструкция садов длилась до 2012 года. Планируется перестроить Китайский павильон, ворота в Олений зоопарк, а также вырубить высокие деревья вдоль юго-восточной стороны садов и воссоздать там песочницы.

 
В настоящее время во дворце располагается канцелярия Белостокского медицинского университета .

Барочный дворцовый парк занимает площадь около 9,7 га и является неотъемлемой частью зеленых насаждений Белостока