Родился в семье известного военного инженера Фёдора Рерберга; младший брат Пётр сделал блистательную карьеру в армии.
В 1869 году Иван Рерберг работал в Москве, проектируя первый Бородинский мост. Сохранилась фотография инженеров и строителей Москворецкого водопровода, стоящих на фоне мемориальной доски, водружённой на фасаде наземного павильона Воробьёвского резервуара. На ней высечены слова[1]:
Шаблон:Начало цитаты
«Водопровод сей, снабжающий город Москву Москворецкою фильтрованную водою, сооружен в царствование Государя Императора Николая II при московском генерал-губернаторе великом князе Сергее Александровиче и при московском городском голове князе Владимире Михайловиче Голицыне трудами городского Общественного Управления и Высочайше утвержденной Комиссии под председательством инженера Ивана Федоровича Рерберга, главных инженеров Николая Петровича Зимина и Константина Павловича Карельских, производителей работ: инженеров Ивана Михайловича Бирюкова, Николая Аркадьевича Кузьмина, Александра Петровича Забаева и архитектора Максима Карловича Геппенера».
Шаблон:Конец цитаты.
Оставил след в истории железных дорог России проектированием Московско-Казанской железной дороги. В 1877 году по инициативе Рерберга близ Нижнего Новгорода был открыт первый в России завод по пропитке шпал[2]. Его бюст установлен на перроне вокзала станции Ковров.
