Дворец в его нынешнем виде был построен в несколько этапов. Левая часть здания возведена в 1780-х гг. Воронцовыми по проекту неизвестного архитектора. Флигель справа от старого дома пристроен в 1821—1822 гг. новым владельцем участка, Д. Л. Нарышкиным (возможно, по проекту К. И. Росси).
Э. Д. Нарышкин продал недвижимость своему кузену Л. А. Нарышкину, при котором осуществлена реконструкция ряда внутренних помещений (архитектор Бернарнхард Симон), обе части здания объединены единым фасадом (архитектор Н. Е. Ефимов) — в 1844—1849 гг.[1]
В советское время дворец неоднократно менял своё назначение. В 1918 г. он был национализирован. В 1919—1923 (1925) гг. здесь был Музей быта. Затем собрание Шуваловых было передано различным музеям.
В его стенах размещались Дом печати (очаг деятельности обэриутов, где проходило мероприятие «Три левых часа»), Дом техники, а после 1965 года — Дом дружбы и мира с народами зарубежных стран[1].
В 2001 году перед зданием дворца на спуске набережной Фонтанки установлен памятный знак «Блокадная прорубь».
Шаблон:Main
С 2006 года во дворце шла реставрация. 19 ноября 2013 года в нём официально открывается музей Фаберже. Он стал первым в России частным музеем федерального масштаба. Пасхальные ювелирные изделия расположены в синей гостиной дворца[2]. В других залах также экспонируются коллекции русского фарфора XIX века, эмали, камнерезные изделия, русские иконы, живопись, серебро, драгоценная утварь и мемориальные предметы[3].
Дворцу посвящена 31 серия 4-го сезона цикла фильмов "Красуйся, град Петров".
.jpg){kind=link}