Здание, возведенное в конце XVIII века по проекту Матвея Казакова, считается шедевром московского классицизма. Построил его участник войны 1812 года и сын знаменитого горнозаводчика Демидова Иван Иванович Демидов. На работы пошли средства от продажи семейного бизнеса — демидовских заводов, поэтому нетрудно догадаться, что дом получился роскошный. Особенно поражали гостей богатством интерьеров золотые парадные комнаты, где хозяева устраивали торжественные приемы и званые обеды. Их карнизы, мебель, камины, двери украсила искусная деревянная резьба, покрытая тонким слоем сусального золота. Снаружи резиденция выглядела не менее привлекательно: итальянский и английский сады с фруктовыми деревьями, оранжереи, пруды, острова, беседки.
После Демидовых здание пережило множество владельцев. И, пожалуй, самым примечательным из них был купец Быков, удивлявший москвичей своим чудачеством и скупостью. Выкупив дом-дворец, он запер его и поселился в каморке сторожа у ворот. Свои новые владения купец осматривал лишь раз в году, в Светлое Воскресение после обедни. Он взбирался по мраморной лестнице, проходил анфилады роскошных, богато обставленных комнат, после чего запирал их снова до следующего года.
В конце XIX века в усадьбе разместился Константиновский межевой институт, известный тем, что здесь впервые был сделал подробный нивелирный план Москвы. Сейчас в доме располагается его преемник — Государственный университет геодезии и картографии, здесь обустроили музей.
