Авторство этой жемчужины классицизма приписывают гениальному архитектору Василию Баженову.

«На обширном холме возвышается волшебный замок. В глубине видишь дворец. Два входа ведут в верхний этаж и на просторную вышку в куполе, с которой открывается прелестнейший вид на Москву», — восторгался увиденной усадьбой немецкий путешественник Иоганн Рихтер в конце 18 века.
С ним соглашались и москвичи. Можно представить, как у ограды на Моховой улице, куда выходил разбитый рядом сад, собирались любопытные – посмотреть на экзотических павлинов, китайских гусей и попугаев в клетках. «Прильнёшь к железной решётке, глазеешь и любуешься», — делился детскими впечатлениями поэт Пётр Вяземский.
Назван дом по фамилии первого владельца — капитан-поручика лейбгвардии Семёновского полка Петра Пашкова. Кроме того, что Пашков состоял на военной службе, он был и богатым помещиком. Наследство ему досталось от отца, который сделал головокружительную карьеру от денщика Петра Первого до губернатора Воронежа, а затем Астрахани. Сын состояние преумножил, зарабатывая на скупке недвижимости и поставках водки в казну.
Дворец, которым любовался в детстве Пётр Вяземский, был уничтожен в пожаре 1812 года. Здание восстанавливали под руководством другого знаменитого архитектора — Осипа Бове. Причем работы провели за счёт города — уже тогда дом рассматривали как один из символов Москвы.
Одно из самых красивых московских зданий ещё и одно из самых таинственных. На его крыше Булгаков поместил Воланда из «Мастера и Маргариты» любоваться перед отъездом Москвой. Согласно городским легендам, Ваганьковский холм, на котором стоит Дом Пашкова, изрыт подземными ходами. И якобы где-то там спрятана легендарная Либерея — библиотека Ивана Грозного.
Загадочной Либерии здесь так и не нашли, зато в этом здании началась история знаменитой Ленинки (она же РГБ) — одной из крупнейших библиотек в мире. Библиотека занимает Дом Пашкова и сегодня.