После выхода в отставку герцог Элимар занимался литературным и музыкальным трудом. Под псевдонимом Антон Гюнтер написал ряд комедий, сочинил несколько песен и дуэтов. От матери герцог Элимар получил в наследство замок Эрлаа, около Вены, где и поселился вместе со своей семьёй. Здесь он и его супруга жили роскошной жизнью — с приемами, балами, охотами, концертами и домашними спектаклями, в том числе и по произведениям герцога. Супруги много музицировали: «Герцогиня хорошо играла на фортепьяно и охотно пела звучным меццо-сопрано широкого диапазона. Герцог также играл на фортепьяно и фисгармонии[1]». Супруги часто ездили в Вену, посещая театры, концерты и выставки.
Герцог Элимар Ольденбургский скончался 17 октября 1895 года.
Брак
В 1876 году Висбадене на одном из приёмов графини Наталии Меренберг, морганатической супруги принца Николая Нассауского, герцог Элимар познакомился с её кузиной — баронессой Натальей Густавовной Фогель фон Фризенгоф (8 апреля 1854—9 января 1937), дочерью барона Густава-Виктора Фогель фон Фризенгоф и Александры Николаевны, урождённой Гончаровой. 9 ноября 1876 года в Вене он женился на ней морганатическим браком. Брак был отрицательно воспринят герцогской семьёй, да и сама Александра Николаевна и её муж «были против „неравнородного“ брака дочери[1]». Наталья Густавовна писала стихи и картины, интересовалась философией, говорила на нескольких языках (в том числе и словацком), но русского не знала и «родными своей матери в СССР она совершенно не интересовалась и вообще была далека от всего русского[1]». Проживала в имении Бродзяны, сейчас там открыт музей имени А. С. Пушкина.
Дети
Супруги имели двоих детей, которые после смерти отца получили титул графов фон Вельсбург (Шаблон:Lang-de):
Александрина Густава Фредерика (11 октября 1877—13 апреля 1901);
Густав Грегор Александр (29 августа 1878—29 ноября 1927) — был женат на графине Луизе фон Хан, имел трёх сыновей и дочь.