Точная дата постройки этого дома неизвестна. Однако тот факт, что его фасад выходит за красную линию переулка, говорит о солидном возрасте здания[2].
Более ста лет (в 1649—1755 годах) домом владел род Зиновьевых. Стольник П. П. Зиновьев выстроил каменные палаты на своём участке в 1680—1690-х годах. Известно, что в 1685 году Зиновьев получал ссуду на каменное строительство. Именно этим периодом датируют дом реставраторы. Дом состоит из двух небольших объемов 1680-х годов и средины XVIII века, позже объединённых и надстроенных вторым этажом[2].
В XIX веке дом перестроили в ампирный особняк с мезонином. В 1860-е годы он был переделан в духе эклектики, а к концу столетия был надстроен третий этаж и декор фасадов ещё раз изменён. Таким образом, к началу XX века он мало напоминал палаты XVII века[2]. В советское время был жилым домом. В 1980-х годах был расселён.
В 2000-х годах был снесён доходный дом, пристроенный к палатам Зиновьевых-Юсуповых. Потом были снесены все хозяйственные постройки во дворе, после чего вокруг дома построили новый жилой комплекс. Много лет дом стоял в руинах без крыши, почти совсем разрушенный. В 2010 году началась его реставрация. Дом был воссоздан в том виде, в котором он пребывал в XVII—XVIII веках. Группа реставраторов во главе с Т. С. Борисовой получила первый приз на конкурсе «Московская реставрация» в 2012 году в номинации «За лучший проект реставрации»[2].
