Однако, Конгресс не финансировал строительство форта до 1857 года, и строительство началось только в следующем году, но в связи с началом Гражданской войны в США в 1861 году, строительство форта активизировалось.
Форт был спроектирован полковником Рубеном Смартом. Главным архитектором был Шаблон:Нп3, который впоследствии стал руководителем Инженерных войск США.
Форт схож по размеру и конструкции с фортом Самтер, но построен из гранита, а не из кирпича.
Строительство было окончено в 1865 году, к концу гражданской войны. Назван форт был в честь Сэра Фердинандо Горджеса — основателя провинции Мэн.
В связи с развитием вооружений, форт к уже моменту постройки был устаревшим. Модернизация форта началась в 1869 году, но из-за недостаточности финансирования так и не была закончена.
Изначально форт был вооружен 34 Шаблон:Нп3, расположенными в казематах форта. В 1898 году все пушки были заменены на орудия Паррота, которые были установлены на стенах форта. Гарнизон форта составлял 500 человек.
В военных целях форт использовался в последний раз во время Второй мировой войны, служа хранилищем мин.
