Сын исторического художника Адама Панкраца Ферга. Первые уроки живописи получил у отца. Изучал манеру письма Жака Калло и Себастьена Леклерка, чьи особенности оказали большое влияние на его стиль.
Затем учился в Вене под руководством художника-пейзажиста Ганс Граафа и у Йозефа Ориента, известного пейзажиста, в доме которого он жил в течение трёх лет, часто выполняя фигуры в его пейзажах. Далее совершенствовался в Лейпциге под руководством А. Тиле, с которым позже отправился в Дрезден.
Работал до 1718 г. в Брауншвейге, после чего уехал в Вену, в течение нескольких лет жил и творил в Бамберге .
Потом до конца своей жизни жил в Лондоне. Несмотря на то, что у него было много заказов, Ферг оказался в стесненных обстоятельствах. Согласно некоторым источникам, это было связано с его собственной безответственностью и опрометчивым браком. Кроме того, Ферг получил травму головы, когда из-за сильного ветра с крыши упала черепица. Однажды ночью, в 1740 году он был найден мёртвым на улице, недалеко от своего жилища, где жил в состоянии крайней нужды и лишений.
Писал пейзажи с фигурами в стиле Корнелиса ван Пуленбурга, приморские виды и сцены обыденной жизни в манере Адриана ван Остаде. Картины его, вообще хорошо сочиненные, сильные по краскам и очень тонко исполненные, имеются в венской, дрезденской, кассельской, брауншвейгской и других галереях, а также в Британском музее.
Кроме живописи, Ферг занимался гравированием и произвёл, между прочим, восемь прекрасных офортов, изображающих ландшафты с развалинами и красивыми человеческими фигурами. Писал, в основном, сцены из повседневной жизни, например, людей на рынках и в селах.
