До XIII века на горе Вяллимяги было городище древних эстов, называемое Тарванпяэ.
В XIII веке датчане построили на горе несколько каменных сооружений. Самые серьёзные работы по строительству крепости начались после 1345 года, когда Северная Эстония перешла в подчинение Ливонскому ордену.
Сначала было возведено северное крыло замка, а мощное южное крыло с угловыми башнями (большая часть которых сохранилась до наших дней) было построено только двести лет спустя, в XV—XVI веках. В северо-восточной части крепости были построены ворота, защищённые полукруглой оружейной башней.
Во время Ливонской войны в 1560—1580-е годы под крепостью происходили ожесточенные сражения между русскими, шведами и немцами. Крепость, частично поврежденная уже в то время, была значительно разрушена во время шведско-польской войны в 1602—1605 годах.
В XVII—XVIII веках в руинах крепости находилась каменоломня.
Первые работы по приведению руин в порядок были проведены в 1901—1902 годах, а более серьёзные ремонтно-реставрационные работы ― в 1975—1988 годах. Лучше всего сохранилось южное крыло крепости и угловые башни. На одной из башен сейчас развевается флаг Эстонии.
