Желание прочно осесть в Белокаменной и высокий общественный статус подтолкнули З.Г. Чернышева к строительству нового особняка. В 1782-1784 годах по его распоряжению вместо обветшавших каменных палат был воздвигнут П-образный в плане каменный дом с ушами - полукруглыми жилыми флигелями за ним. О строителе и архитекторе резиденции главнокомандующего говорит следующая лаконичная запись в Альбоме партикулярных [частных. - Авт.] строений Москвы, составленном в начале XIX века: Оное все строение построено и проектировано архитектором Матвеем Казаковым, кроме главного дома, который строен им же, а кем проектирован, неизвестно . Ряд исследователей полагает, что план главного дома Чернышев заказал в Петербурге.

При постройке особняка был использован кирпич разобранных несколько ранее стен Белого города. Лишен­ный мелких деталей, нерасчлененный главный фасад, выходивший на Тверскую улицу, приобрел монументальный характер.

Первоначально дом был выкрашен в легкий желтый цвет, детали декора - в белый. За парадным особняком располагались особливый домик с клюшничьей, молошней, скотной, птичником и коровником; конюшенный двор с амбаром, погребом, сараем для парадных карет, конюшней на двадцать восемь стойлов; третий двор - с кучерской, двумя прачечными, хлебной и квасной; на заднем дворе... двухэтажный флигель с девятью комнатами для прислуги. Упомянутое в документе здание конюшен позади усадебного корпуса сохраняло свое функциональное назначение вплоть до начала XX столетия. Когда московские власти пересели в автомобиль, конюшни были переоборудованы под гараж.

Со стороны Тверской через большую проездную арку главного фасада трехмаршевая лестница вела в главную анфиладу бельэтажа, состоявшую из Парадных сеней, Первой и Большой столовых, Танцевальной залы, Китайской гостиной, Декомпании (зал заседаний). Сквозной ряд комнат по восточному фасаду замыкался на личных апартаментах главнокомандующего.

После кончины графа З.Г. Чернышева в 1785 году особняк был выкуплен у его вдовы казной за огромную по тем време­нам сумму в двести тысяч рублей под официальную резиден­цию московской административной власти. Вход в здание охраняли парные посты часовых. Теперь в правительственных бумагах он стал именоваться Тверским казенным домом, занимаемым московским генерал-губернатором . Имя первого владельца закрепилось в названии примыкающего к дому с северо-запада переулка - Большой Чернышевский (в 1922-1993 годах - улица Станкевича). Несколько к югу, на Большой Никитской, находился особняк (№ 14/2) другого главнокомандующего Я.А. Брюса - автора проекта перепланировки Москвы (1775), надолго определив­шего архитектурный облик города. (До 1790 года этот дом служил официальной резиденцией московских властей.) Ближайший к нему переулок получил название Брюсов (в 1962-1993 годах - улица Неждановой). В доме Брюса в 1806 году проживал отставной московский воен­ный губернатор и начальствующий гражданской частью Ю.В. Долгоруков. На Тверской же (№ 27 и 29) находился особняк десятого по счету генерал-губернатора, старого воина И.В. Гудовича, прославившегося в Москве как ярый гонитель очков, троек и метания кошельков артисткам. В том же доме чуть ранее квартировал Н.М. Карамзин, написавший в своей тесной комнатке знаменитую Бедную Лизу .

Выбор места для резиденции главы города не был случаен. С переносом столицы в Петербург Тверская превратилась в главную и самую престижную улицу первопрестольной. Именно здесь начиналась оживленная дорога в Северную Пальмиру. По Тверской проходили и коронационные шествия самодержцев. Вблизи резиденции располагались элитарные Дворянское собрание (Большая Дмитровка, 1/6), Английский клуб (Тверская, 21). Рукой подать было и до канцелярии губернатора (на месте нынешнего здания Музыкального театра им. В.И. Немировича-Данченко), и до присутственных мест, находившихся в то время в здании вблизи Китайгородской стены; после пожара 1812 года Городская дума и магистрат переехали в дом на месте нынешнего Исторического музея