В его нынешнем виде здание дворца Дожей было возведено в период между 1309 и 1424 годами. Считается, что архитектором самого первого проекта являлся Филиппо Календарио. Строение было довольно сильно разрушено во время сильного пожара 20 декабря 1577 года. Сразу же была инициирована реставрация, в ходе долгих споров было принято решение оставить дворец в оригинальном готическом стиле, хотя обсуждался и вариант сделать его на современный лад.

К концу 19-ого столетия появились ясные признаки разрушения, и итальянское правительство выделило деньги для восстановления. Все государственные учреждения были перемещены в другое место, за исключением государственного Офиса защиты исторических Памятников, который все еще размещен в лоджии дворца. В 1923 итальянское государство, владелец здания, передало управление дворцом Дожей венецианскому муниципалитету.

Самая старая часть дворца Доджей — фасад с видом на лагуну, углы которого украшены скульптурами 14-ого столетия Филиппо Календарио и различными художниками Ломбардии, такими как Раверти и Антонио Брегно. Галерея первого этажа и лоджия выше украшены в 14-м и 15-м столетиях. Некоторые из скульптур были заменены копиями в течение 19-ого столетия.

В 1438-1442, Джованни и Бартоломео Бон построили и украсили Порта делла Карта, который служил церемониальным входом в здание. В наше время общественный вход во Дворец Дожи осуществляется через Porta del Frumento со стороны береговой линии.

Знаменита эта выдающаяся достопримечательность также и тем, что здесь находились тюремные казематы. Тюремные камеры были в колодцах и в Пиомби. Клетки в колодцах были переполнены, душны, и кишели насекомыми. Клетки в Piombi располагались непосредственно под свинцовой крышей дворца, были очень горячими летом и очень холодными зимой. Известным обитателем Piombi был Джакомо Казанова, который убежал через крышу, повторно вошел во дворец и был освобожден через Порт делла Карта.

Специальные коридоры ведут по Мосту Вздохов, построенному в 1614, чтобы связать Дворец Дожей с новыми тюрьмами. Название моста относиться ко вздохам заключенных, которых вели в камеры. Мост также считается одним из самых узнаваемых мест в Венеции.