17 одни исследователи приписывают архитектору Василию Баженову, другие – Матвею Казакову. Возможно, что и оба архитектора были причастны к его появлению.
Особняк построили в 1782 году в смешанном стиле барокко с классицизмом. Первым владельцем усадьбы был полковник Михаил Хлебников, а после него – граф и один из самых прославленных российских полководцев Пётр Румянцев-Задунайский. Свой дом он украсил картинами русско-турецких сражений, в которых принимал участие.
После смерти графа особняк перешёл к его сыну, Николаю Румянцеву. Тот был высокопоставленным чиновником, а также коллекционером и меценатом. У него в гостях бывали Николай Карамзин, Василий Жуковский и Пётр Вяземский. К тому же Николай Румянцев был франкофилом и выступал за дружбу с Наполеоном. На момент нападения Франции на Россию он занимал должность министра иностранных дел. Известие о случившемся настолько поразило графа, что его разбил паралич.
В 1877 году здание приобрёл купец Митрофан Грачёв, нанял архитектора Георгия Кайзера и многое перестроил. Так, на фасаде появились аллегорические женские скульптуры и герб владельца с буквой «Г» и младенцами-путти.
Сейчас в особняке располагается посольство республики Беларусь.