О жизни Константина Африканского известно мало, уцелевшие биографические сведения о нём дошли до наших дней, благодаря архивисту, библиотекарю и историку монастыря Монтекассино Петру Диакону.
Пётр Диакон писал, что Константин был «сарацином», то есть, согласно средневековому франко-итальянскому термину, — мусульманином из Северной Африки, где родился, отсюда и прозвище Африканский. Его родители принадлежали к арабизированному древнему племени кочевников берберов. Первую часть своей жизни он провёл в Северной Африке.
Обучался на Востоке. Упоминается, что он изучал медицину в Багдаде. Жил в Каире, слушал лекции в университете аль-Азхар. Интересовался лекарственными травами. Знакомился с научными достижениями халдеев, персов и арабов.
Во время своего пребывания в Месопотамии Константин со своими торговыми партнерами побывал в Индии, Эфиопии и Египте. Приобрёл глубокие знания арабской медицины и на практике применял эффективные методы лечения.
После возвращения на родину, Константин, благодаря высокому уровню знаний, стал широко известен, как врач и учитель. После этого, завистники-коллеги, начали обвинять его в колдовстве. Из-за начавшихся преследований и опасаясь за свою жизнь, он оставил родину и тайно на корабле отправился на Сицилию. Там под видом нищего достиг города Салерно, где его труды привлекли внимание местных правителей Салернского княжества, в частности, Роберта Гвискара, герцога Апулии и Калабрии.
Около 1077 года Константин стал педагогом в Салернской врачебной школе. Он подверг резкой критике качество, имеющейся в школе медицинской литературы и занялся переводами на латынь греко-арабских источников по медицине. Составил несколько больших трудов, в основном, состоящих из переводов с арабского. Перевёл медицинские трактаты и книги великих мастеров арабской медицины, среди них, Абу Бакр Мухаммад ар-Рази, Хунайн ибн Исхак ал-Ибади, Ибн Имран, Ибн Сулейман и Ибн аль-Джаззар. Кроме того, переводил с древнегреческого труды Гиппократа и Галена.
Эти переводы сегодня хранятся в библиотеках Италии, Германии, Франции, Бельгии и Англии. Они использовались в качестве учебников по медицине, с XI до XVII века.
Благодаря его трудам, Европа узнала работы античных авторов, как известно, долго существовавшие только в арабском варианте.
Позже Константин стал бенедиктинским монахом, последние годы жизни провёл в аббатстве Монтекассино, где и умер.