Присоединению казахских жузов к Российской империи предшествовало строительство в 1752 году на высоком побережье реки Ишим крепости святого Петра, как центрального форпоста Пресногорьковской линии военных укреплений. Поводом для строительства крепости послужило налаживание политических и торгово-экономических отношений между российской администрацией и ханской властью. В связи с этим возникла необходимость в строительстве также специальной резиденции хана для решения вопросов, возникавших в ходе участившихся казачьих рейдов в степь, угоном скота у коренного населения и захватом земельных участков. Архивные материалы свидетельствуют, что «по просьбе его, Абылая, для пребывания его построен прямо у крепости святого Петра, вверх по реке Ишим в горах Енгистау, в 1765 году деревянный дом». Таким образом дом Абылая был предназначен не только для пребывания, но и для решения конфликтных ситуаций[1][2].
Существовали различные предположения о местонахождении здания. В настоящее время достоверно известно, что оно находилось в 2—3 км от крепости, на «горе» (имелась в виду местность), которая впоследствии (со второй половины XIX века) оказалась в черте города Петропавловск. Деревянное здание, вероятно, сгорело во время одного из пожаров, а на его месте (по одной из версий) в 1829 году было возведено каменное[1][2].