Со временем дом многократно перестраивался по вкусу новых владельцев. Однако на древность его указывают своды первого этажа и необычное расположение – больше двух метров за красной линией Большого Афанасьевского переулка. Вероятно, выстроены палаты были ещё до его образования.
Больше ста лет дом принадлежал знатному роду Зиновьевых. К нему принадлежала и жена петровского гардемарина и московского губернатора князя Бориса Юсупова Ирина Михайловна. Известно, что князь, заботясь о своей престарелой теще, обращался в Духовной консисторию и устроил тут домовую церковь во имя Владимирской иконы Божией Матери.
После московского пожара 1812 года палаты приобрели строгий и выразительный вид в стиле ампир. А к концу 19 столетия надстроили третий этаж.
В 1911 году здание приобрела Анна Берс — жена действительного статского советника Александра Берса, приходившегося шурином Льву Толстому. Второй и третий этаж сдавались внаем, а на первом были открыты столярная и слесарная мастерские, торговая лавка, мастерская дамского платья.
После революции дом оставался жилым, как и в течение всего XX века. За это время он сильно обветшал, и его расселили для ремонта. Но начатые работы надолго прерывались, из-за чего здание сильно пострадало. Возобновили реставрацию в 2010 году.
Мастера под руководством архитектора-реставратора Татьяны Борисовой проделали невероятную работу — воссоздали дом таким, в каком жили Зиновьевы-Юсуповы в середине 18 века. За это они получили первый приз конкурса «Московская реставрация — 2012» в номинации «За лучший проект».
В здании располагается Музей Международного нумизматического клуба.
