Переулок расположен между улицей Врубеля и улицей Алабяна. На большей части переулка движение одностороннее в сторону улицы Алабяна. Нумерация домов начинается от улицы Алябяна.
Появился этот переулок ещё в XIX веке. Тогда он проходил по границе подмосковного села Всехсвятского. С запада от него находилась Большая Всехсвятская роща. С XIX века северо-восточнее переулка находилось сельское кладбище Всехсвятского, носившее название «Арбатец». Предположительно, в 1911 году по проекту архитектора Романа Ивановича Клейна на переулке была построена часовня кладбища, которая сохранилась до наших дней[1]. После революции переулок оказывается в черте Москвы. В 1920-х годах на месте Большой Всехсвятской рощи, сильно пострадавшей после урагана 1911 года, строятся дома посёлка «Сокол». В 1950—1960-х годах северо-восточная сторона переулка была застроена многоэтажными жилыми домами.
Происхождение названия
Переулок получил название в XIX веке по характеру грунта. Он был назван Малым Песочным, так как он был малым по отношению к Большому Песочному переулку (ныне Песчаный переулок). В 1922 году переулок получил своё сегодняшнее название Малый Песчаный[2].
№ 7 — Жилой дом (1931, архитектор И. И. Кондаков), объект культурного наследия регионального значения[3]. Здесь в 1933—1966 годах жил конструктор стрелкового оружия В. Г. Фёдоров (мемориальная доска, 1975, архитектор В. А. Орбачевский)[4]. Перестроен в 2000-х годах.
По чётной стороне:
№ 2а — Часовня кладбища «Арбатец».
№ 4а — Детский сад № 807. Построен в 1964 году. В 2018 году на его месте планируется построить новое 4-этажное здание детского сада[5].