Был сыном Генри Митфорда (Шаблон:Lang-en; 1804—1883) и приходился правнуком историку Уильяму Митфорду. В 1840 году его родители развелись и мать вышла замуж за другого мужчину, мистера Молиньяка.
Начал службу в 1858 году с назначения третьим секретарём британского посольства в Санкт-Петербурге. Затем последовали назначения в Шанхай и работа в Японии. Он действовал в стране в период реформ и потрясений, известный как Реставрация Мэйдзи. В Японии Элджернон встретил Эрнеста Сатоу и написал книгу Tales of Old Japan (1871), впервые познакомившую европейскую публику с такими классическими японскими сюжетами, как, например, подвиг 47 ронинов. Вышел в отставку в 1873. В 1906 году сопровождал принца Артура во время его визита в Японию.
Считается, что Фримен-Митфорд был одним из пионеров распространения рейнутрии сахалинской в Англии.
Занимался гражданской службой, архитектурой (в частности, реставрацией лондонского Тауэра и улучшением Гайд-Парка), состоял в обществах, посвящённых яхтингу и фотографии (последнее и возглавлял). Был консультантом по японской культуре при создании оперы The Mikado.
В 1902 году во время коронационных торжеств было объявлено, что он получит баронство[1]. С того же года заседал в Палате лордов британского Парламента[2].
В последние годы занимался редактированием двух ставших затем весьма известными книг теоретика расизма Хьюстона Стюарта ЧемберленаFoundations of the Nineteenth Century и Immanuel Kant: A Study and Comparison with Goethe, Leonardo da Vinci, Bruno, Plato, and Descartes, к которым написал объемные предисловия. Они были опубликованы в 1910 и 1914 годах.
Семья
В 1874 году женился на леди Клементине Гертруде Хелен (Шаблон:Lang-en; 1854—1932). У них родились девять детей — пять сыновей и четыре дочери. Большинство из них получили известность лично или через браки. Баронский титул унаследовал сын Дэвид, ставший отцом Сестёр Митфорд и многократно описанный в их творчестве.
Находясь в Японии, прижил двух детей от гейши. Фримен-Митфорд считается одним из возможных отцов Клементины Черчилль.
