Джозеф Кроухолл родился в Морпете в 1861 году. Был четвертым ребенком и вторым сыном художника Джозефа Кроухолла II и Маргарет Бойд. C 1877 по 1879 год обучался в лондонском Кингс Колледже. В 1882 он, вместе с шотландскими художниками Джеймсом Гутри и Эдвардом Уолтоном, приезжает в Париж, где знакомится с живописью французских художников-реалистов, в частности, с произведениями, созданными Жюлем Бастьен-Лепажем. Также в Париже работал с художником Эме Моро. Находился также под влиянием модного тогда в Европе японского искусства.
После возвращения на родину Кроухолл живёт в Глазго и вступает там в тесную творческую связь с художниками группы Глазго Бойс. В этот период он пишет в основном шотландские сельские пейзажи. В 1883 году Кроухолл выставляет свои полотна, написанные масляными красками, в Королевской Академии художеств, однако к этому времени художник уже специализируется на пастельной живописи и акварели, изображая преимущественно птиц и животных.
В 1884—1893 годах Кроухолл совершает путешествия по Испании и Марокко, подолгу живёт в Танжере; за время этих поездок художник создал много новых картин. В это время он отказался от масляной живописи и стал работать с акварелью с более легкой палитрой. В 1887—1893 годах он — член Королевского общества акварелистов. В 1894 состоялась первая персональная выставка Дж. Кроухолла — в галерее Алекс Рейд, в Глазго. С 1898 года художник живёт в сельской местности Йоркшира, где занимается коневодством. В 1909 он вступает в Новое английское художественное общество. Художник умер в Лондоне в 1913 году.
