Образец городского усадебного строительства в послепожарной Москве в стиле ампир. Известно, что усадьба была приобретена князем С.С. Гагариным после 1818 г. В 1822-23 гг. по проекту архитектора Д.И. Жилярди был выстроен необычно крупный для того времени двухэтажный каменный главный дом. В его архитектуре развиваются многие темы выполненных Жилярди в те же годы зданий – Опекунского совета и дома П.М. Лунина. Дом стоит в глубине парадного двора, поскольку объединен со старым корпусом. Главный фасад без привычного портика, который заменяют три арочные ниши с колоннами тосканского типа (излюбленный мотив Жиляри). Во внешнем оформлении здания приняли участие скульпторы И.П. Витали и С.П. Кампиони. В замковых камнях оконных арок нижнего этажа помещены львиные маски (впервые использованные Жилярди в фасадах здания Московского университета). Центральное место во внутренней композиции занимает парадная лестница под световым фонарем в глубине вестибюля с низкими дорическими колоннами. С площадки второго этажа открываются в окружающие лестницу парадные помещения: залы и «открытые гостиные» (разделенными арочными проемами, а не стенами). В доме сохранились отделка интерьеров (столярные и скобяные изделия, росписи на потолке парадной спальни, лепнина, мраморный резной камин в кабинете с полукруглым эркером) и планировка, отличавшаяся оригинальностью для своего времени. В тот же период за домом в глубине участка был построен одноэтажный манеж. В середине 1850-х гг. усадьбу приобрело Управление Московского государственного коннозаводства. Были возведены многочисленные постройки в южной и западной части заднего двора. В 1932 г. здание было передано Институт мировой литературы имени М. Горького (созданному по инициативе писателя). При ИМЛИ действуют музей и архив М. Горького. В 1956 г. во дворе перед главным домом был установлен памятник писателю работы скульптора В.И. Мухиной.