Судя по сохранившимся в окрестностях надгробиям, освоение человеком данного региона восходит к римскому вторжению на Пиренейский полуостров. Селение Вила-Висоза находилось рядом с римской дорогой, которая соединяла Эвору и Мериду, что и обусловило строительство на ближайшем холме небольшого форта.
Во время Реконкисты на полуострове деревня была занята португальцами в рамках наступления на Алкасер-ду-Сал (1217). Дальнейшая история деревни неизвестна, но известно, что в 1270 году она получила фуэрос от короля Афонсу III (1248-1279). Начало строительства замка связано с периодом правления короля Диниша I (1279-1325),который также распорядился возвести вокруг деревни крепостную стену.
4 апреля1422 года деревня перешла в собственность герцога Фернанду Браганса, который выстроил в Вила-Висозе дворец и фактически сделал деревню столицей герцогства Браганса. Его сын Фернанду был обвинен королём Жуаном II в предательстве и казнен в Эворе. В результате герцогская семья отправилась в изгнание в Кастилию, оставив замок в Вила-Висозе.
После возвращения из изгнания герцог Браганса Жайме не захотел жить во дворце в Вила-Висозе в связи с памятью о трагической смерти своего отца. Он заключил брак с испанской дворянкой Леонорой Перес де Гузман, дочерью герцога Медина-Сидония, для которой построил в 1501 году новый роскошный дворец, где поселился с супругой. Замок в этот период был усилен рвом и приобрел архитектурные элементы стиля мануэлино.
В контексте войны за независимость замок был укреплен нового наружной стеной, построенный между 1663 и 1664 года, получил бастион в форме звезды и был адаптирован к возможностям тогдашней артиллерии. Благодаря этому, деревня выдержала штурм испанских войск в ходе битвы при Монтуш-Кларуш (1665).
23 июня1910 года замок был объявлен национальным памятником. Благодаря Фонду Браганса, в замке начались реставрационные работы. В настоящее время в замке расположены музей охоты, частная коллекция живописных полотен и Археологический музей Фонда.
Архитектура
Замок имеет квадратную форму, стены усилены большими круглыми башнями. Внутри замка находится католическая церковь, построенная в XVII веке. Донжон замка был построен только в царствование Фернанду I и имеет дверь, ведущую в деревню.