Джеймс Драммонд родился в конце 1786 или в начале 1787 года в семье Томаса Драммонда, садовника поместья Фозерингем в Шаблон:Нп5. Был крещён 8 января 1787 года[1].
С 1808 по 1829 год работал куратором ботанического сада в Корке (Ирландия), опубликовал несколько работ по растениям Ирландии[1].
В 1829 году вместе с женой и 6 детьми отправился на барке «Шаблон:Нп5» в Западную Австралию, где был назначен суперинтендантом правительственных садов (жалованье — 100 фунтов стерлингов) и правительственным натуралистом (Шаблон:Lang-en; должность без жалованья), хотя работал преимущественно в области ботаники[1].
С 1835 года Драммонд занялся сбором образцов растений и семян, которые отправлял в Англию. Вместе со своими сыновьями и коллегами (включая Джона Гилберта) предпринял несколько экспедиций в южные районы Западной Австралии. В июле 1845 года во время экспедиции к Шаблон:Нп5 был убит его сын Джонстон, после чего Джеймс Драммонд на время прекратил полевую работу. В 1846 году он был представлен к королевской награде за заслуги перед ботаникой, после чего продолжил полевую работу до 1855 года, когда завершил карьеру полевого исследователя в связи со старостью[1].
За весь двадцатилетний период экспедиций Драммонда было собрано свыше 3500 образцов растений Западной Австралии, ставших основой для описания нескольких сотен видов[1].