Дата постройки замка Аарбург точно не установлена. Однако, вероятно, что он был заложен в 1200-х годах правителями Бюрона. Здание упоминается впервые в хрониках начала XIII века, как владение графов Фройбурга. Новый замок стал центром фогства, призванного контролировать торговый маршрут, проходивший с севера на юг по реке Ааре. Помимо фогта в крепости заседал высший судебный орган. В 1299 году Фройбурги продали фогство и замок Габсбургам. После 1330 года в замке поселился род фон Крихов из нижнего дворянского сословия, состоявшего на службе у Габсбургов.
20 апреля 1415 года, после непродолжительной осады, Аарбург был захвачен армией Берна. Власти Берна назначили замок резиденцией высшего бальи (судебного исполнителя) области Аргау. В конце XV и в XVI веках, замок прошёл несколько этапов реконструкции. В 1470-е полностью перестроили его дворец. Последующие изменение, продолжившиеся в XVII веке (1650-1670-е годы), привели к созданию большого барочного комплекса. С 1666 года в крепости находился постоянный гарнизон, а на губернатора возложены обязанности военного коменданта. Часть замка служила тюрьмой, узниками которой были не только уголовные преступники, но и политические заключённые. Одним из них был Жак-Бартоломью Микели де Крюс, известный женевский военный инженер, учёный и картограф. За свои политические взгляды он в 1746 году был арестован и препровождён в Аарбург, где и провёл свои последние годы.
10 марта 1798 года крепость без боя заняла французская армия. В 1804 году, вновь созданный кантон Аргау, взял замок под своё управление. Первоначально в нём размещались арсенал и казармы. Затем до 1864 года служил в качестве тюрьмы, пока от его использования полностью не отказались. В 1891 году власти кантона решили основать в замке исправительный интернат для несовершеннолетних преступников. Это заведение, открытое через два года, стало первым заведением подобного рода в Швейцарии. Постепенно система правления этим учреждением смещалась от наведения дисциплины и наказаний к образованию. В 1972 году название этого центра изменили на «Дом Образования», а с 1989 году он стал «Домом молодёжи», что более подходило к его изменившемуся статусу.
