Был учеником скульптора по бронзе и впоследствии большую часть по основному роду занятий был чеканщиком и резчиком, сначала в мастерской, затем в собственном доме; с молодых лет начал изучать труды Прудона. После установления 2 декабря 1852 года режима Второй империи участвовал в возрождении взаимных обществ и высказывался за финансирование экономики путём создания кредитных союзов.
В 1860-х годах, когда режим Наполеона III начал становиться более либеральным, Толен стал активным участником и одним из вождей французского рабочего движения, предложив избирать депутатов от рабочих союзов крупнейших городов; сам он впервые участвовал в выборах в 1863 году, однако потерпел поражение. В своих манифестах (наиболее известным является «Манифест шестидесяти» 1864 года, названный так по числу подписавших его рабочих) призывал к «подлинной» демократии во всех сферах жизни, высказывался за легализацию забастовок, резко выступал против существования кабаре и ряда писателей.
Стал одним из основателей Первого интернационала, для поддержки которого много писал и выступал. В декабре 1867 года был впервые арестован властями. В 1868 году на Брюссельском конгрессе пытался отстаивал свои взгляды на сохранение частной собственности, после чего его влияние стало постепенно снижаться.
В ноябре 1870 года, во время осады Парижа в ходе Франко-прусской войны, был избран заместителем мэра 11-го округа Парижа, в феврале 1871 года был избран одним из представителей столицы в палату депутатов, где примкнул к крайней левой. Во время Парижской коммуны в 1871 году тщетно старался успокоить страсти и решить конфликт мирным путём, выступив против провозглашения Коммуны 18 марта, за что 12 апреля того же года был изгнан из Интернационала за «трусливую измену». В 1876 году был избран сенатором от Парижа и с этого времени боролся за легализацию профсоюзов, став влиятельной фигурой в лагере оппортунистов. Постоянно оказывался в состоянии конфронтации с бывшими товарищами по социалистическому движению, в частности голосовал против амнистии коммунаров.
