Площадь, на которой был построен дворец, принадлежала ранее семье Котовичей, затем семье Рукевичей, а в 1752 году её купил Михаил Казимир Огинский. В конце XVIII века архитектор Карл Шильдхаус построил дворец в Гродно на Демьяновской улице по заказу князя Огинского.
По описи 1803 года дворец был «на высоком фундаменте, деревянный», т. е. первый этаж был кирпичный, а второй деревянный. На первом этаже были кладовые и парадная лестница. На втором этаже располагались залы, жилые комнаты и кухни.
На сохранившихся фотографиях начала XX века видно, что дворец уже был полностью кирпичным. Это было здание в стиле классицизма, двухэтажное, прямоугольное в плане, с ризалитами в центре главного и дворового фасадов и алькежами по углам. Ризалит на главном фасаде заканчивался аттиком, главный вход украшал стилизованный портик. Основной объём здания был покрыт высокой четырёхскатной черепичной крышей[1][2]. Главный фасад дворца выходил на Сенной рынок. Сегодня это площадь за гостиницей «Неман».
Кроме дворца на площади Сенного рынка Огинские владели и другими резиденциями в Гродно, в частности частично сохранившимся дворцом на Подоле.
