Родился в Добеле, в семье пастора, этнографа и лингвиста Августа Биленштейна. Он был младшим; до него родились: Max Bielenstein (1855—1860), пастор Louis Johann Emil Bielenstein (1858—1943), Martha Bielenstein (1860—1938), пастор и мученик Hans Bielenstein (1863—1919), Johanna Bielenstein (1864—1864), Emma Bielenstein (1865—1887), художник Siegfried Bielstein (1869—1949) и пастор Walter Adolf Axel Bielenstein (1872—1961)[1].
Учился в Рижском политехническом институте, который окончил в 1904 году. Затем продолжил учёбу в Берлине. В 1905 году он основал свою собственную архитектурную фирму в Риге. Одновременно работал в Рижской ипотечной ассоциации. В 1907 году женился на Бетти фон Бергманн (1885—1963); у них родилось шесть детей.
Во время Первой мировой войны он был на военной службе; работал в разных военных учреждениях в Пскове и Витебске. С 1918 года вновь жил и работал архитектором в Риге.
В Риге он спроектировал более 30 жилых зданий, в основном в стиле модерн, т. н. рижский югендстиль, хотя некоторые из его зданий имеют черты латышского северного модерна; в их числе[1]:
.jpg){kind=link}