Сам особняк называют по именам прежних владельцев Хлудова и Пантелеева. Первый – Герасим Хлудов – одни из богатейших купцов своего времени. Он купил просторное жильё у коллежской асессорши Беляевой почти сразу после его постройки. Дом был двухэтажный, первый этаж – из кирпича на каменном подвале, второй – деревянный, с антресолями. Здесь Хлудов прожил несколько десятков лет.
В 1892 году особняк с публичных торгов приобрел Филипп Пантелеев, богатый крестьянин из Владимирской губернии. Он владел лепными мастерскими и продавал гипсовый декор. И в качестве рекламы своей продукции богато украсил здание лепниной. На главном фасаде можно заметить пилястры с растительным орнаментом, женские и львиные маски, скульптуры купидонов и орлов, женские статуи.
Сдавать квартиры в аренду здесь начали ещё при Пантелееве. Квартир было всего три, по одной на каждом этаже. И хозяин занимал только самый пышно и богато отделанный второй этаж. После революции здесь тоже какое-то время работала гостиница.
В 2020 году в доме стартовали первые работы по научной реставрации. Мастера привели в порядок всё здание – от цоколя до кровли и фронтона с фигуркой купидона.
Сейчас в особняке тоже размещается гостиница. Причём до реставрационных работ на сайтах бронирования было много негативных отзывов. Но, возможно, условия для проживания гостей улучшились.
