С конца 1780-х годов в соответствии с новым функциональным назначением началась перепланировка генерал-губернаторского особняка. Для этих работ был вновь приглашен выдающийся русский зодчий М.Ф. Казаков. Выбор был не случайным: деятельность архитектора сыграла определяющую роль в формировании городского ансамбля в районе Тверской и примыкавших к ней переулков, опустошенных губительным пожаром 1773 года. По проектам Матвея Федоровича были построены корпус Благородного пансиона при Московском университете (на месте нынешнего здания Центрального те­леграфа), а чуть выше - дворцы русских аристократов - графи­ни Е.Ф. Мусиной-Пушкиной, князя С.М. Голицына, Е.И. Козицкой.

Главнокомандующий князь А.А. Прозоровский доносил императрице Екатерине II в феврале 1790 года о ходе строительных работ: В Тверском главнокомандующего доме. Оной разобран, как в полах, так и в потолках, и две стенки каменные подводят. Одну начали бутить, а для другой роют ров, но до материка не дошли и работы еще много весьма . После перестройки Тверской казенный дом стал едва ли не самым крупным административным сооружением Москвы вне стен Кремля. Одних только дров на протопку пятидесяти двух русских, ста восьмидесяти двух голландских, семнадцати духовых печей, а также четырех каминов и двенадцати очагов ежегодно расходовалось более шестисот пятидесяти саженей.

Дом главнокомандующего сразу же оказался в центре политической жизни города. 12 ноября 1796 года при пушечной пальбе в нем поднимали бокалы за здоровье нового императора всероссийского Павла I Петровича. Через несколько месяцев главноначальствующий по гражданской части М.М. Измайлов получил высочайший рескрипт следующего содержания: Для пребывания Его величества короля польского в Москве прикажите очис­тить и приготовить дом на Тверской, в котором вы... живете... В том же 1796 году Павел Петрович и сам приезжает в не любимую им Москву на коронационные торжества.

Эта традиция сохранялась и позднее. В мае 1913 года в дни празднования 300-летия Дома Романовых Тверской казенный дом вновь был полон высокопоставленных гостей. Здесь останавливались председатель Совета министров, министр финансов В.Н. Коковцев, министр внутренних дел Н.А. Маклаков, товарищ министра внутренних дел и бывший московский губернатор В.Ф. Джунковский, министр торговли и промышленности С. И. Тимашев, директор Департамента полиции С.П. Белецкий.

По замыслу М.Ф. Казакова Тверской казенный дом должен был одновременно стать и композиционным центром прилегавшей к нему территории. С этой целью уже в 1790 году с санкции Екатерины II у наследников другого московского главнокомандующего князя В.М. Долгорукова-Крымского за семь тысяч рублей была выкуплена земля с деревянным строением и забором против парадного фасада здания. (Имя домовладельцев Долгоруковых закрепилось в названии одного из переулков между Большой Никитской и Тверской.) В начале следующего года М.Ф. Казаков представил проект ее благоустройства. Площадь перед генерал-губернаторской резиденцией должна была иметь прямоугольное очертание. В ее центре намечалось установить щит (знамя) главнокомандующего . Площадь предлагалось использовать для проведения торжественных церемоний развода воинского караула. На главный фасад здания ориентированы крылья галереи с колоннами; по ее углам симметрично располагались два небольших строения кордегардии (помещения для караула), а по центру - общественный камин - печь для обогрева во время зимних морозов. Всю площадь по периметру намечалось обнести невысокой металлической оградой.

Проекту М.Ф. Казакова не суждено было воплотиться в жизнь, в первую очередь из-за дороговизны работ и материалов. Смета на обустройство территории превышала пятьдесят девять тысяч рублей, а расходы на русско-турецкую войну 1787-1791 годов уже окончательно опустошили казну. Денег императрица в рассуждении настоящих военных обстоятельств не дала, и поэтому пришлось ограничиться лишь выпланировочными работами (планировка территории), выполненными командой колодников. К 1801 году удалось замостить часть двора особняка булыжником. Перед главным же домом Москвы вплоть до Отечественной войны 1812 года был разбит огород, где за высоким деревянным тыном произрастали овощи и фрукты. Вполне возможно, что у жившего по соседству в Большом Чернышевском переулке (№ 9, мемориальная доска) поэта П.А. Вяземского столь разительный контраст вызвал следующие строки:

...Здесь чудо - барские палаты

С гербом, где венчан знатный род.

Вблизи на курьих ножках, хаты

И с огурцами огород.

В 1796 году при главнокомандующем М.М. Измайлове был заложен Тверской бульвар. Высаженные на нем в четыре ряда березки еще не давали тени, а бульвар стал уже излюбленным местом прогулок титулованной публики.