Здание было построено в 1849 году известным болгарским зодчим Николой Фичевым для купца Николы Коева. При строительстве перед архитектором стояла задача уместить дом таким образом, чтобы на небольшой территории уместился магазин, выходящий сразу на две улицы, а также промышленные склады, цеха и жилые помещения. В итоге было решено возвести узкое (около 6 метров в ширину), но высокое трёхэтажное здание, на первом этаже которого расположились магазины, а входы в подъезды были оформлены в виде полукруглых арок. Из общей массы домов его выделяют окна в эркерах и нарядная красно-белая кладка[1].
Своё название дом получил из-за расположенной под эркером с южной стороны здания небольшой фигурки сидящего маленького человека, которую кто-то однажды сравнил с обезьянкой. По одной из версий прообразом этой скульптуры мог послужить первый хозяин дома Никола Коев. Согласно легенде он был влюблён в удивительно красивую девушку из дома напротив и зачастую садился на стул перед магазином и мечтательно вглядывался в её покои[2].
Некоторое время в доме с обезьянкой проживал первый болгарский антиквар, собиратель средневековых рукописей и монет, известный деятель возрожденческого движения Стоянчо (Стефан) Пенев-Ахтар[1].
В 2016 году в связи с недостатком финансирования Союзом учёных дом был продан муниципалитету Велико-Тырнова за Шаблон:Числолева, и в настоящее время в нём расположен музей, а на месте старых цехов работают антикварные лавки[4].