Вильям де Браос, первый лорд Брамбера, построил замок примерно в 1070 году одновременно с нормандской церковью на вершине естественного кургана. Большая часть сохранившейся каменной кладки датируется этим временем. За исключением периода конфискации во время правления короля Иоанна (1199—1216), замок Брамбер оставался во владении семьи де Браоса, пока мужская линия окончательно не вымерла в 1326 году.
Об истории замка Брамбер известно мало. В записях гражданской войны упоминается «стычка», произошедшая в деревне в 1642 году. Церковь сильно пострадала при стрельбе из орудий, которые круглоголовые расположили в её трансептах, откуда открывался отличный обзор на замок Брамбер.
Несмотря на то, что строения почти не сохранились, планировку некоторых частей замка Брамбер все еще можно угадать. Лучше всего сохранились руины ворот замка. Они все еще высятся почти на полную высоту, на стене отчетливо видны одно окно и несколько отверстий для балок этажных перекрытий. За воротами расположено руины, по всей видимости, жилых помещений и сторожки.
Все еще можно рассмотреть фрагменты входа в замок, но от стен остался в основном грубый камень, используемый для внутреннего наполнения стен — более качественный материал был давно разобран для строительства окрестными жителями. К северу от ворот находится оригинальный мотт (насыпь) замка, поднимающаяся на высоту около 10 м. На небольшом расстоянии от него находится участок куртины высотой до 3 м[1]. Осталась также и небольшая действующая приходская церковь, расположенная прямо у входа в замок, которая раньше служила часовней для жителей замка.
Barton, K. J.; Holden, E. W. (1977), «Five castle excavations: reports on the Institute’s research project into the origins of the castle in England. Excavations at Bramber Castle, Sussex, 1966- 67», Археологический журнал, 134 : 11-79
Фрай, Плантагенет Сомерсет, Книга замков Дэвида и Чарльза, Дэвид и Чарльз, 1980.
