Поварская улица
На протяжении XVIII—XIX веков Поварская являлась одной из самых аристократических улиц Москвы. Здесь жили представители многих знатных фамилий: Долгоруковы, Голицыны, Шереметевы, Гагарины, Борятинские, Волконские и многие другие. В конце XIX — начале XX веков характер улицы сменился на буржуазный и на Поварской появились дома Охотниковых, Миндовских, Фирсановых, Рябушинских, Морозовых. Улица связана с жизнью и творчеством многих выдающихся деятелей русской культуры. Здесь жили писатели М. Ю. Лермонтов, Г. Р. Державин, Д. В. Давыдов, Н. П. Огарёв, А. И. Лажечников, П. И. Мельников-Печерский, И. А. Бунин, Б. А. Ахмадулина, публицист А. И. Кошелёв, художники Ф. Л. Соллогуб и И. С. Глазунов, актёры П. С. Мочалов, В. Ф. Комиссаржевская, А. А. Яблочкина, А. Л. Кайдановский, композиторы М. М. Ипполитов-Иванов, Н. Я. Мясковский и многие другие.
Поварская улица
Заказчик был страстно увлечён постройкой здания, вкладывал в него большие средства и энергию. Однако денежные затруднения вынудили С. С. Гагарина продать усадьбу ещё до завершения отделочных работ. После князя Гагарина владение перешло богатому пензенскому конезаводчику и меценату Охотникову, который в 1840-х годах подарил усадьбу Управлению Московского государственного конезаводства. Конезаводство размещалось здесь более 40 лет, устраивало в усадьбе выставки по продаже лошадей. В доме также находились ведомственные квартиры служащих. В 1875 году в одной из квартир на нижнем этаже поселился заведующий Московским отделением конезаводства генерал-майор Л. Н. Гартунг с супругой — старшей дочерью А. С. Пушкина Марией Александровной. Репродукция портрета М. А. Гартунг украшает в настоящее время парадный каминный зал здания.