Ныне существующее здание было построено на основе палат XVII века, о которых напоминают наличники на левом торце. Наличники сделаны в виде «ёлочки», что перекликается с оформлением южного фасада соседней церкви Святого князя Владимира в Старых Садех. Таким образом можно предположить, что оформлением палат занимались те же зодчие, которые перестраивали Владимирскую церковь во второй половине XVII века[2].
Здание многократно перестраивалось. В середине XVIII века палаты принадлежали секретарю губернской канцелярии А. П. Казакову, который сделал к ним пристройку с правой стороны. В конце XVIII — начале XIX века дом принадлежал капитану Григорию Павловичу Ржевскому. Затем домом владел бригадир Николай Андреевич Сумароков, который сдавал его в аренду. Позднее дом принадлежал купцам, а потом Н. А. Тюляевой[3].
В 1980-х годах в здании размещался Московский государственный историко-архивный институт (ныне в составе РГГУ). В 2001—2007 годах по проекту Е. К. Рукавишниковой и Н. Г. Тумановой была проведена реставрация здания. Были восстановлены отдельные элементы декора палат XVII века, отреставрированы интерьеры реконструированы инженерные сети[2]. В ходе реставрационных работ был полностью перелицована кладка фасадов здания, что повлекло критику со стороны градозащитных организаций[3][4]. Тем не менее, в 2012 году работы были отмечены премией «Московская реставрация» в номинации «За лучший проект реставрации и/или за лучший проект приспособления к современному использованию»[2].
С 2010 года здание занимает Императорское православное палестинское общество[2]. 3 июня 2012 года перед зданием был установлен бюст основателю общества Василию Николаевичу Хитрово работы скульптора Александра Ивановича Рукавишникова[3]. В 2013 году на первом этаже был открыт музей Императорского православного палестинского общества[2].
.jpg){kind=link}