Автор проекта – Иван Жолтовский, мастер, который к моменту получения этого заказа уже успел прославиться строительством особняков и усадеб в Москве и Тверской области. Важно, что от владельца земли, купца Гавриила Тарасова, он получил разрешение на совершенно любые эксперименты – требований по внешнему виду не было совершенно, и поэтому он мог проявить весь свой талант.


Ориентиром для Жолтовского стало искусство итальянского Ренессанса. Он вдохновлялся работами Пинтуриккьо, Тинторетто, Тициана и Джулио Романа, а в качестве образца выделил палаццо Тьене, дворец, построенный в Виченце в середине XVI века зодчим Андреа Палладио. Отсюда и своеобразный облик особняка – конструкция величественная, массивная, стены рустованные, а окна обрамляют громоздкие муфты. По отдельности такие детали кажутся архитектурным излишеством, однако сейчас мы можем видеть – Жолтовскому действительно удалось построить настоящий дворец.
Фасад дома украшает надпись на латыни: «GABRIELUS TARASSOF FECIT». Это означает «Гавриил Тарасов – сделал». Такая деталь смотрится особенно трогательно, если знать, что на самом деле купец не дожил до окончания строительства.
Примечательно, что до наших времён здание сохранилось в отличном состоянии, причём не только снаружи, но и изнутри. С 1979 года его занимают помещения Института Африки Российской академии наук.