Усадьба неоднократно переходила из рук в руки, пока в 1806 году её хозяином не стал граф Николай Шереметев. Шереметевы владели Ульянкой вплоть до революции. Последний владелец, граф Александр Шереметев, основал в 1884 году пожарную команду, для которой на месте бывшего кабачка было построено депо. По соседству с имением находился храм святителя Петра Митрополита с небольшим кладбищем, а за имением — сад, переходивший в лес.
После революции
После революции на месте имения была образована школьная колония «Новь», ряд построек усадьбы был разрушен, но в целом она сохранилась.
В годы Великой Отечественной войны Ульянка, как и другие южные предместья Ленинграда, была почти полностью разрушена. Господский дом усадьбы Шереметевых, построенный по проекту архитектора И. Д. Корсини, а также пожарное депо и храм Петра Митрополита были разрушены. В послевоенные годы на месте усадьбы было возведено здание школы № 456 (ныне — филиал Дворца детского и юношеского творчества Кировского района). Историческая территория усадьбы частично входит в состав современного Воронцовского сквера.