Дом построили по проекту знаменитого архитектора Матвея Казакова для московского генерал-губернатора Захара Чернышёва в 1782 году. После его смерти дом выкупила казна, и его стали использовать как резиденцию генерал-губернаторов.
После революции в трёхэтажном дворце разместился Моссовет. При расширении Тверской в 1939 году здание передвинули на 13,5 метра. А в 1945 году архитектор Дмитрий Чечулин надстроил дом двумя этажами и полностью переделал фасад. Старинную и новую части разделил мощный карниз, в котором скрыли металлическую стяжку. На карниз поставили восьмиколонный портик, а под ним – пилоны с аркой-входом. Чтобы исторические стены выдержали вес надстройки, в перегородки здания вмонтировали 24 стальные колонны.
За столько лет здание сменило множество начальников, биографии которых достойны книжных томов. Среди них выделяется Владимир Долгоруков, высокопоставленный военный и соратник Александра II. При этом градоначальнике в Москве построили Верхние торговые ряды (ГУМ), консерваторию, Исторический музей, проложили конку (прообраз трамвая) и начали электрификацию Москвы. А также провели ряд управленческих реформ. В том числе хозяйственную, которая уполномочила Думу распоряжаться городским имуществом, и полицейскую, которая изменила административно-территориальное деление Москвы.
С ним же приключилась анекдотичная история. На балах у Долгорукова бывал некто Шпейер – мошенник, выдававший себя за богатого помещика. Однажды он попросил хозяина дома разрешить посмотреть его своему знакомому, английскому лорду. Князь разрешил, и на другой день дежурный человек провел гостей по всему дому, показал двор и даже конюшни.
А еще через пару дней к дому губернатора подъехала подвода, гружёная сундуками и чемоданами. Следом за ней остановилась карета с английским лордом, который приказал вносить вещи прямо в кабинет Долгорукова. Случился скандал – англичанин доказывал, что купил дом у дворянина Шпейера за 100 тысяч рублей и приехал в нём жить. В доказательство он предъявил купчую крепость, заверенную у нотариуса.
К суду Шпейера решили не привлекать, боясь огласки, да проходимца и след простыл. А как решили дело с англичанином – история умалчивает, возможно, дали отступные. Известно только, что дело кончилось в секретном отделении генерал-губернаторской канцелярии.