Замок использовался как военная база и центр снабжения для экспедиций в центральную Литву или севернее в Жемайтию.
Спустя год его безуспешно осаждал в течение 22 дней Великий князь литовскийГедимин. Гедимин умер во время следующей осады замка в 1341 году. Народная легенда гласит, что Дуб Гедимина в парковом ансамбле вырос на месте, где Великий князь получил смертельную рану. После его смерти его сыновья в конце концов завоевали замок Байербург.
В XVI веке замок принадлежал польскому королю Сигизмунду II Августу. Новый замок был построен на руинах старого немецким рыцарем Иеронимусом Криспин-Киршенштайном. С тех пор замок неоднократно перестраивался. В XVIII веке владельцы поместья Рудоне семья Olędzki (Olendzki) h. Rawicz (члены шляхты, сейма и сената) наняли литовского архитектора Лауринаса Гуцявичуса для реконструкции замка. Следующий владелец, Светлейший князь Платон Александрович Зубов, получил поместье в первой половине XIX века и его семья опять перестроила замок, наняв архитектора Чезаре Аникини (Cezaris Anikinis). В настоящее время здание является примером неоготической архитектуры XIX века. Его последними частными владельцами были София Уокселл (Зубов) и её португальский муж с острова Мадейра, Хосе Карлос де Фария и Кастро.
Оригинальный Раудонский замок является местом действия восточнопрусскойлегенды, известной, как Die weiße Jungfrau der Bayerburg («Белая Дама Байербурга»)[1].
Urban, William. The Teutonic Knights: A Military History. Greenhill Books. London, 2003, p. 133. ISBN 1-85367-535-0
Polski słownik biograficzny / komitet redakcyjny Władysław Konopczynski … [et al.]. Publisher Kraków : Skład główny w ksieg. Gebethnera i Wolffa, 1935-.ISBN 8386301015 (set)
