Юлия родилась в 19 до н. э. в семье Марка Випсания Агриппы, друга и соратника Октавиана, консула 27 и 28 годов до н. э., и Юлии, дочери Октавиана.
Точное место рождения Юлии не известно, но с 20 по 18 год до н. э. Агриппа выполнял обязанности правителя Галлии.
Не являясь Юлией по рождению, девочка получила имя Випсания Юлия Агриппина. Но воспитывалась Юлия, особенно после смерти своего отца в 12 году до н. э., в семье императора. В трудах современников она чаще всего упоминается как Юлия Младшая.
В том же 12 году до н. э. её мать вышла замуж за Тиберия, приёмного сына Октавиана. Усыновление императора получили и её братья Гай и Луций. Сама же она, хотя и жила в семье Тиберия, никогда не была официально удочерена ни Августом, ни Тиберием.
В 5 или 6 году до н. э. Август выдал Юлию замуж за патриция Луция Эмилия Лепида Павла, консула 1 года. Юлия и Луций были родственниками: обоим Скрибония приходилась бабкой. Мать Луция, Корнелия Сципиона, была дочерью Скрибонии от второго брака.
Согласно Светонию[1], пара жила в большом, специально построенном Юлией особняке за городом. Но Август, не любивший большие пространства, приказал разрушить дом.
В 8 году Юлия была обвинена в прелюбодеянии с Децимом Юнием Силаном. Супружеская неверность не считалась в Риме ужасным преступлением и максимум, что могло грозить Юлии — это развод. Но, учитывая поведение матери, Юлии Старшей, и состояние Августа в связи с этим, Юлия была сослана на архипелаг Тремити, находящийся в Адриатическом море, к северу от мыса Гаргано.
В том же году у неё родился сын, но Август приказал умертвить его. В добровольную ссылку к ней приехал её любовник Силан. После смерти Августа Тиберий позволил ему возвратиться в Рим.
Юлия же оставалась на острове и во времена Тиберия. К тому времени практически всё потомство Агриппы от Юлии Старшей было уничтожено из-за интриг Ливии, расчищавшей путь к императорской власти для Тиберия, своего сына от первого брака. Но оставшаяся в живых родня (сестра, племянники) не забывала Юлию и выделяла деньги на её содержание.
