О происхождении названия улицы есть несколько версий. Согласно одной из них, опубликованной в 1964 году в New York Times, название улицы происходит от расположенных здесь зданий (Scotland Yard дословно означает «шотландский двор»), в которых размещались дипломатические представители Шотландского королевства, когда они посещали с визитом монархов Англии[1] — по сути, посольства Шотландии, хотя формально оно не считалось таковым.
В XVII веке на этой улице размещались правительственные здания и резиденции для государственных служащих. Здесь жили архитекторы Иниго Джонс и Кристофер Рен, поэт Джон Мильтон (в 1649—1651). К концу XVIII века район Большого Скотланд-Ярда считался весьма престижным местом; например, Джонатан Свифт в 1790-х годах в своей Шаблон:Iw иронизировал "… мои достойные братья и друзья в Will’s Coffee House, Грешем-колледже, Warwick Lane, Moorfields, Скотланд-Ярде, Вестминстер-холле и Гилдхолле, — короче говоря, всем жителям и приближенным к чему бы то ни было — суду, церкви, лагерю, городу или стране … "[2].
По данным Службы столичной полиции, учреждённой в 1829 году министром внутренних дел Робертом Пилем, изначально её офис располагался по адресу Whitehall Place, 4 и имел отдельный вход с Большого Скотланд-Ярда. Со временем название «Скотланд-Ярд» превратилось в метоним для обозначения штаб-квартиры полиции Лондона[3].
Карта Лондона Ричарда Хорвуда 1799 года показывает местонахождение Большого Скотланд-Ярда с восточной стороны Уайтхолла, напротив Адмиралтейства. Ниже неё расположены две тупиковые улицы: Middle Scotland Yard, где в настоящее время находится Whitehall Place, и выходящая из неё Lower Scotland Yard. На Lower Scotland Yard в 1906 году было построено здание военного министерства[4].
На улице расположено здание, названное в честь герцога Кларенса, 1896 года постройки. Оно было соединено аркой с углом улицы Большой Скотланд-Ярд. В ходе перепланировки Большого Скотланд-Ярда 1908 года арка была демонтирована, а фасад здания украшен с использованием различных цветных кирпичей.
В старом здании пожарной службы, расположенном в домах под номерами 13-15, с 1953 года располагается Клуб гражданской службы Великобритании.