Московские пожары времен французской оккупации 1812 года не обошли стороной и Тверскую. Очевидец событий аббат Сюрюг 4 сентября сделал в дневнике следующую запись: ...Арбат, Пречистенка, Моховая, Тверская представляли самое плачевное зрелище . Две трети каменных построек выгорело, новопосаженный бульвар вырублен, но здания от Тверских ворот до генерал-губернаторского особняка по обеим сторонам улицы уцелели (вероятно, благодаря проживанию в них высокого французского начальства). Страшные сцены разыгрывались на Тверском бульваре - здесь воинские коман­ды армии Наполеона казнили обвиненных в поджогах москвичей.

Французское разорение не обошло стороной и резиденцию московских властей. Судя по донесениям смотрителя дома в Дворцовую экспедицию, за которой он числился, рамы и двери строений были использованы завоевателями для растопки, так что парадные залы и гостиные зимой оказались засыпанными сугробами снега. Ветер безжалостно рвал старинные штофы на стенах, птицы прятались под высокими сводами особняка. Во многих помещениях лежали неубранные трупы людей и животных, а рядом с остатками роскошной мебели всюду были видны следы нечистот. Дом оставался в таком виде, по­ка московский главнокомандующий граф Ф.В. Ростопчин не распорядился разместить в нижнем его этаже службы Губернского правления и Московской казенной палаты.

К 1815 году последствия пожара были полностью устранены, сгоревшие хозяйственные постройки во дворе особняка восстановлены. Фрейлина М.А. Волкова писала своей знакомой о бале, данном тогдашним московским главнокомандующим графом А.П. Тормасовым 13 января в честь дня рождения императора Александра I: Вчера Тормазов дал нам роскошный бал в генерал-губернаторском доме... Кто бы мог подумать, смотря на пышный... праздник, что два года тому назад Москву вконец разорили! Нас, которые постоянно живем в городе, поразило великолепие вчерашнего пира. Князь Яков Лобанов, вчера только приехавший из провинции, был просто изумлен; он ожидал увидеть Москву в развалинах .

Однако в 1823 году пришла нечаянная беда - 14 января огонь уничтожил все внутреннее убранство резиденции. Управляющий Министерством внутренних дел граф В.П. Кочубей 13 февраля 1823 года извещал тогдашнего градоначальника князя Д.В. Голицына: ...Государь император по случаю произшедшего пожара, в доме для жительства гг. военных генерал-губернаторов московских назначенного, высочайше указать соизволил, чтоб до коле дом сей не будет приведен в первобытное положение, приискан и занят был для помещения вашего сиятельства от казны приличный дом . Таковым оказался особняк графини Марии Григорьевны Разумовской в Арбатской части (5-й квартал, № 465) в приходе церкви Рождества Христова, что в Палашах на Большой Тверской улице. Контракт с графиней был заключен на два года, начиная с 1 февраля, а затем продлен еще на шесть месяцев. Одновременно для размещения канцелярии московского генерал-губернатора и ее чиновников был нанят дом князя Александра Борисовича Голицына в Тверской час­ти (1-й квартал, № 41) со всеми мебелями и службами .

Только расходы на аренду этих помещений составляли тридцать тысяч рублей в год.

Казна выделила значительные средства на ремонтные работы и меблировку погоревшей резиденции городских властей. И уже в Новом путеводителе по Москве 1833 года читаем: ... [Здание] заслуживает внимания прекрасною своею архитектурою; нечто величественное видно во всех частях оного... Внутренность дома сего, после бывшего в нем пожара, исправлена в лучшем еще против прежнего виде .

По проведении ремонта каких-либо существенных перепланировок в здании Тверского казенного дома уже не проводилось, и к революции 1917 года оно сохраняло архитектурный облик, созданный еще М.Ф. Казаковым. Регулярно раз в пять лет во время вакаций (отпуска), которые генерал-губернаторы обычно проводили в подмосковных царских имениях (Александрийском дворце Нескучного, Петровском путевом дворце и др.), осуществлялся ремонт их резиденции.