В своем дворе на Знаменке боярин, скорей всего, бывал нечасто, потому что большую часть жизни провел в посольствах и походах. Воевал с Польшей и Швецией, был воеводой в Астрахани, где и погиб в 1670 году во время разинского бунта вместе с братом и одним из своих сыновей. Его чудом спасшийся сын Борис впоследствии был воеводой Новгорода, приближенным Петра Великого. Умер бездетным в 1718 году, завещав свой знаменский дом не жене, как следовало бы ожидать, а царице Екатерине Алексеевне. Но с оговоркой:

«Прошу ея величество государыню царицу Екатерину Алексеевну, дабы милостиво призрела оставшуюся по мне любезную мою супругу, княгиню Ирину, и для того ее, упомянутую мою супругу, вручаю под покров ея величества, так же как и все имение мое, как движимое, так и недвижимое, отдаю в волю ея величества моей всемилостивейшей государыне. Наипаче молю ея величество, дабы грешная душа моя незабвенна была в поминовении по обычаю христианскому…»

В 1727 году, после кончины княгини Прозоровской ее дом был подарен Павлу Ивановичу Ягужинскому. В 1730-м генерал-прокурора Сената Ягужинского арестовали и лишили состояния всего за одно его письмо к опальной Анне Иоанновне. Однако после ее воцарения Ягужинский был восстановлен в правах, стал графом, а впоследствии кабинет-министром, обер-шталмейстером и генерал-аншефом. После его смерти усадьба перешла к вдове графа Анне Гавриловне, по второму браку Бестужевой-Рюминой. Но вскоре она, по тогдашнему обыкновению, была сослана в Сибирь, а двор отошел в казну. В 1754 году ветер снова переменился, и усадьба была возвращена сыну, Сергею Павловичу Ягужинскому, который владел ей по 1806 год. Он начинал свою карьеру весьма эффектно (владел заводами, имел в Петербурге дворец с театром), однако впоследствии все промотал и по нужде был взят под опеку.

Большая часть построек двора Ягужинских была деревянной – невысокие службы окружали по периметру большой двор, обращенный на Знаменку. В глубине стоял дворец с домовой церковью, однако в 1811 году все постройки были разобраны из-за ветхости.

До 1826 года здесь находилось «пустопорожнее место», которое затем приобрел гвардии прапорщик Василий Михайлович Коноплин. Он построил для себя богатую ампирную усадьбу, с главным домом, выходящим на Знаменку, и флигелями, поставленными вдоль переулка. Как пишут исследователи, «усадьба отвечала всем канонам послепожарной застройки». Дом был вытянут по всей ширине владения, с улицы его строгий фасад был отмечен треугольным фронтоном, со двора – большим «итальянским» окном. Благородная простота классического здания была, возможно, вызвана осознанным желанием не спорить с великолепием возвышавшегося неподалеку Пашкова дома.

В 1837 году бывшая усадьба Прозоровских-Ягужинских разделилась на два владения – нынешние дома №№ 10 и 12 по Малому Знаменскому переулку. Сохранившийся до наших дней двухэтажный на каменном подвале дом №10 датируется 1826 годом, стало быть, это также одна из построек прапорщика. 

Историю соседа, дома №12, легко можно было прочесть, рассмотрев фасад: нежилой флигель усадьбы Коноплина и стоящая чуть правее одноэтажная хозяйственная постройка в свое время объединенные в один протяженный корпус. В середине XIX века флигель выглядел более нарядно: тогда его переделали в жилой и по бокам появились крытые галереи на тонких колоннах, огражденные изящной балюстрадой. После объединения в 1881 году очертания старых объемов читались на фасаде, придавая дому очень милую ассиметрию. Невзирая на нее, ровно по центру получившегося здания был посажен забавный фронтончик неорусского жанра (точь-в-точь такой же можно наблюдать на доме №14 по Остоженке). При всей своей простоте и даже нелепости этот дом придавал переулку очень яркий колорит.

А в 1870-х главный дом усадьбы Коноплина (здание, что обращено фасадом к Знаменке и сейчас затянуто сеткой) был перестроен в доходный и увеличен до четырех этажей, чуть позже были целиком перестроены его фасады (с тех пор дом выглядит как рядовая эклектическая постройка Москвы конца XIX века). Одно время здесь располагались меблированные комнаты Елены Павловны Ивановой, дальней родственницы Федора Михайловича Достоевского. Наезжая в Москву он останавливался у нее в 1872, 1873 и 1877 годах. Был момент, когда классик подумывал жениться на гостеприимной хозяйке, но этого не случилось, и впоследствии они поддерживали «самые дружеские отношения». В одном из его писем говорилось: «Я переехал еще в субботу к Елене Павловне и стою в особом отделении ее нумеров, через дом. Мне покойно…». Кроме главного дома жилым в усадьбе тогда был только двухэтажный флигель – дом №12 по Малому Знаменскому переулку. Следовательно, в письме речь шла именно о нем.