Родился в семье театрального дирижёра и скрипичного педагога Абрама Колонна (1812—1875), происходившего из итальянской еврейской семьи. Поступил в Парижскую консерваторию в 1856 году, учился у Нарсиса Жирара и Эжена Созе (скрипка), Амбруаза Тома (композиция), Антуана Эльвара (гармония). Уже в 1858 г. он был приглашён первой скрипкой в оркестр парижской Гранд Опера. Вскоре Колонн также занял место второй скрипки в знаменитом Квартете Ламурё — его первая скрипка Шарль Ламурё на долгие годы стал заметным соперником Колонна, особенно когда оба, Колонн и Ламурё, основали свои оркестры.
В марте 1873 г. мировой премьерой оратории Сезара Франка «Искупление» Колонн открыл в парижском театре «Одеон» первый сезон своих воскресных концертов. В ноябре того же года Колонн основал для проведения этих концертов свой собственный оркестр. Концерты Колонна пропагандировали, прежде всего, новейшую французскую музыку: Массне, Лало, Бизе, Берлиоза, Равеля и др. Колонн интересовался и русской музыкой, несколько раз гастролировал в Санкт-Петербурге, в том числе с французской оперой, дававшей представления в Малом театре в 1894 г. В 1892 году Колонн был приглашён возглавить оркестр Гранд Опера, однако руководил им только один сезон, а затем вновь сосредоточил всё внимание на собственном оркестре.
Колонн считается одним из крупнейших французских дирижёров XIX века. Он оставил по себе славу жёсткого, почти тиранического руководителя оркестра.
Был дважды женат, вторым браком — на певице Эжени Вержен. Отец четверых детей.
