Дворец Фредериксберг построен в стиле итальянского барокко на вершине холма Валбю (Шаблон:Lang-da). Дворец был сооружён в 1699—1703 гг. архитектором Эрнстом Бранденбургером для короля Фредерика IV.
Ещё будучи наследным принцем Фредерик IV в 1692—1693 гг. побывал в Италии и был очень впечатлён итальянской архитектурой. Он лично нарисовал первые наброски внешнего вида дворца. Работы начались в 1699 году за несколько месяцев до смерти Кристиана V и восшествия Фредерика IV на престол.
В 1708—1709 гг. дворец был расширен архитектором Иоханом Конрадом Эрнстом. Был возведён дополнительный этаж с большим бальным залом и пристроена церковь. Во времена правления Кристиана VI архитектор Лауриц де Турах продолжил строительство в 1732—1738 гг. Кристиан VI использовал этот замок в качестве летней резиденции в 1731—1740 гг, пока длилось строительство замка Кристиансборг.
Дворец Фредериксберг приобрёл свой современный облик после небольшой перестройки в 1828—1829 гг. во времена Фредерика VI. Его вдова, Мария, была последним членом королевской семьи, проживавшим в этом дворце.
С 1868 года до наших дней в здании дворца базируется Датская королевская военная академия.
Парк
Ко дворцу с двух сторон примыкает парк с озёрами, каналами и разнообразной флорой.