В советские годы здесь собиралась вся писательская богема. Как метко характеризует это место писатель и москвовед Олег Жданов: «Коньяк, водка и стихи лились рекой. Здесь дрались, вдохновлялись, договаривались о совместных проектах, обвиняли друг друга в плагиате, посвящали друг другу стихи на салфетках».
В разное время в Доме выступали Александр Твардовский, Константин Симонов, Михаил Шолохов, Александр Фадеев, Михаил Зощенко и другие. Почетными гостями здесь были Нильс Бор, Рокуэлл Кент, Жерар Филипп, Марлен Дитрих, Индира Ганди, Джина Лоллобриджида.
Само здание состоит из двух частей. В основе — усадьба князя Святополк-Четвертинского, выстроенная по проекту московского архитектора Петра Бойцова в 1889 году. Она выходит на Поварскую улицу. В конце 1950-х годов к особняку пристроили «советскую часть», которая выходит на Большую Никитскую.
Старая часть самая интересная — фасады в стиле французского Ренессанса с элементами барокко, парадные залы в готическом стиле. Почти все помещения отделаны деревом — от панелей на стенах и кессонированных потолков до парадной лестницы и паркета.
