История самого величественного дворца Дании началась 1 июля 1560 года – именно тогда произошел передел собственности между королем Фредериком II и героем войны Херлуфом Тролле (Herluf Trolle). Король приобрел у Тролле замок Хиллеродсхольм (Hillerødsholm), тогда как сам Тролле получил взамен королевское поместье Сковклостер (Skovkloster) в Южной Зеландии.

Владения были тут же переименованы новыми хозяевами: Хиллеродсхольм Фредерик II в честь себя назвал Фредериксборгом (Frederiksborg), а Сковклостер превратился в Херлуфсхольм (Herlufsholm). Замок Фредериксборгом находился (как и сейчас) на 3 островах небольшого озера в самом центре датского городка Хиллерёд (Hillerød).

Основанные в 1720-1725 гг. сады замка Фредериксборг были разбиты согласно моде того времени королевским архитектором и ландшафтным дизайнером Йоханом Корнелиусом Кригером (Johan Cornelius Krieger). Новые сады в стиле барокко имели ярко выраженную центральную ось, обеспечивающую взаимосвязь между зданием, садом и открытыми пространствами. Вдоль главной оси появился каскад с водными каналами и фонтанами, окруженный аллеями, стрижеными изгородями и партерами с королевскими монограммами. Партер в регулярном стиле засажен самшитами, которые король "подсмотрел" в итальянских и французских садах

Сады просуществовали около 40 лет и пережили 3 королей - Фредерика IV (1699-1730), Кристиана VI (1730-46) и  Фредерика V (1746-66). В период правления Кристиана VII каскады были демонтированы, в основном из-за того, что сад зарос и стал очень дорогим в уходе.

Попытки восстановить сад предпринимались неоднократно, начиная с 1850 года, но к 1993 году от первоначального сада в стиле барокко остались лишь неухоженные аллеи, террасы и бесформенные самшитовые изгороди. В конце концов, деньги на реставрацию были найдены и 5 июня 1996 год сад, выполненный по старым планам Кригера, был снова открыт для посещения. Более 65 тысяч самшитов и 166 пирамидальных тиса были высажены в партерах, в то время как 375 лип и 7 000 грабов были использованы, чтобы создать аллеи и боскеты. Вдоль центральной оси сада был создан новый гранитный каскад протяженностью 0,5 км.

Как единственный датский королевский сад, барочный сад дворца Фредериксборг избежал участи быть преобразованным в романтический ландшафтный парк. Возможно, его хозяева посчитали, что будет слишком трудоемко и затратно вырубать липовые аллеи и выравнивать насыпные террасы. Дворец Фредериксборг, однако, обзавелся своим романтическим садом – следуя моде на ландшафтное садоводство конца XVIII века. Ландшафтный сад с извилистыми тропинками, каналами и озерами был построен во времена Фредерика VII (1848-63 гг.) в близлежащей лесистой местности.

На небольшом острове в пруду король построил миниатюрную версию норвежского замка, и это место стало любимом пристанищем королевской четы.