Представитель аристократического рода Баумгартен. В молодости писал литературно-критические статьи для журнала «Budapesti Szemle».
После окончания Будапештского университета переехал в Германию, где занялся литературно-исследовательской деятельностью, в основном, историей литературы, культуры и эстетикой. Его работы в этих областях были высоко оценены в немецкой литературной среде.
Ему принадлежит глубокое исследование творчества новелиста и поэта Конрада Фердинанда Мейера, Известна также его другая работа «Развитие современного романа». Автор ряда рассказов.
Известность Баумгартену принёс его вклад в венгерскую литературу. В 1923 году он пожертвовал из своего большого личного состояния около миллиона пенгё на поощрение венгерских литераторов. Это наследие сделало его имя бессмертным и послужило для создания одного из крупнейших венгерских культурных фондов и Премии имени Баумгартена.
Первая Премия имени Баумгартена была вручена в 1929 году. Она присуждалась в день смерти Баумгартена — 18 января ежегодно с 1929 по 1949 год (за исключением 1945 года) десяти венгерских писателям и поэтам, которые получали по четыре тысячи пенгё каждый. Премия имени Баумгартена была самой престижной литературной премией Венгрии до 1949 года.