Родился в семье небогатых дворян. Был приходским учителем в Поневежском уезде и домашним учителем.
Известен своими календарями, которые издавал с 1847 года по 1864 год и затем в 1877 году; 19 из них на литовском языке латинским шрифтом, три — кириллицей. Календари Ивинскиса представляли собой своего рода альманахи, в которых, помимо сведений о церковных праздниках и ярмарках, давались статьи и заметки по сельскому и домашнему хозяйству, по медицине и ветеринарии, а с 1852 году был введён литературный отдел. Календари Ивинскиса печатались в Вильне в типографии известных виленских издателей и книготорговцев Завадских. Для истории просвещения Литвы его жмудские календари имеют первостепенное значение; они заменяли литовскую прессу, которая возникла только в год его смерти.
Перевёл с немецкого на литовский язык и издал в 1858 историю о Геновеве («Genawejte») австрийского писателя К. Шмида. Сделал сокращённый перевод «Робинзона Крузо»Дефо. Оставил целый ряд ненапечатанных рукописей: «Польско-литовский словарь», переводы Мильтона, Э. Юнга и других авторов.
Похоронен в Куршенай. На надгробии надписи на литовском и польском языках.
В Северной Америке, в Пенсильвании, после его смерти образовалось европейско-американское общество его имени с целью распространения сведений о литовском народе.
