Освоил игру на скрипке в раннем детстве, в 6-летнем возрасте был представлен Паганини и стал его единственным учеником, занимался также у учителя Паганини Джакомо Коста и ученика Паганини Агостино Делле Пиане. Начал широко гастролировать в 12-летнем возрасте. Гастролировал во многих странах, в том числе в России в 1840-х и 1870-х годах. В 1864 году, отойдя от активной концертной деятельности, поселился в Париже, где давал частные уроки (был, среди прочего, первым наставником Анри Марто). Время от времени, впрочем, продолжал выступать — в частности, в 1876 г. во главе струнного квартета (в котором участвовали также Поль Виардо, Мартен Марсик и Жюль Дельсар) стал первым исполнителем струнного квартета Джузеппе Верди.
Особую известность принесла Сивори манера адаптировать для скрипки самые неожиданные сочинения — например, Большой концертный дуэт Джованни Боттезини для двух контрабасов с оркестром (партию одного из контрабасов Сивори переложил для скрипки). Кроме того, Сивори написал ряд фантазий, арий, этюдов для скрипки. Несколько фантазий и обработок (на темы Карла Марии фон Вебера и Джоаккино Россини) для скрипки, виолончели и фортепиано написаны им совместно с Проспером Зелигманом.
Похоронен в родном городе на одном из знаменитейших кладбищ мира — Стальено.
Любимая скрипка Сивори, принадлежавшая до него Паганини и изготовленная парижским мастером Жаном Батистом Вильомом как точная копия паганиниевского Cannone Гварнери, стала впоследствии называться Сивори; в настоящее время она принадлежит генуэскому муниципалитету и предоставляется талантливым музыкантам для концертов.
