Своей «будущностью» Петр Свистунов пожертвовал в 22 года. Образование он получил в санкт-петербургском пансионе для знатного юношества, открытого иезуитами в год его рождения. Обучение было бесплатным, так иезуиты пытались усилить и разнообразить свое влияние на высшие слои русского общества. В учебном заведении закрытого типа воспитанники проводили 6 лет. Здесь, кстати, мог учиться и Пушкин, если бы не открылся Лицей. Преподавание велось на французском и латинском языках. Коллегиум очень быстро стал одним из привилегированных учебных заведений Петербурга: сюда направляли своих детей Голицыны, Вяземские, Строгановы, Шуваловы, Одоевские. Что делали иезуиты, чтобы «усилить свое влияние», какие азы втолковывали своим подопечным, среди которых оказались три будущих декабриста: А. П. Барятинский, И. В. Поджио и П.Н. Свистунов?..

Корнет кавалергардского полка, руководитель петербургского филиала Южного общества, и член Северного Общества Петр Свистунов в 1826 году был сослан на 15 лет в каторжные работы. Первоначально срок и вовсе был в 20 лет, ибо, по словам следователей, Свистунов «знал цель — введение республиканского правления и разделял преступное мнение о истреблении императорской фамилии». В 1837-м переведен на поселение в Курган, затем служил канцелярским служителем в губернском правлении. В Москву вернулся в 1856 году. А в 1867-м поселился в скромном доме в Гагаринском переулке.

В 1878 году в доме Свистунова в Гагаринском переулке бывал Лев Николаевич Толстой, который в то время собирал материалы для романа «Декабристы», так и не законченного, но ставшего основой «Войны и мира». Толстого очень интересовали воспоминания Свистунова, в том числе о Лунине, одном из организаторов Северного общества и на каторжных работах в Сибири продолжившего борьбу с самодержавием. «Что за человек был Федор Александрович Уваров, женатый на Луниной (сестре М. С. Лунина). Я знаю, что он был храбрый офицер, израненный в голову в Бородинском сражении. Но что он был за человек? Когда женился? Какое было его отношение к обществу? Как он пропал? Что за женщина была Катерина Сергеевна? Когда умерла, остались ли дети? На какой дуэли, — с кем и за что, — Лунин Михаил Сергеевич был ранен в пах?» — спрашивал Толстой Петра Николаевича. В другом письме: «Когда Вы говорите со мной, Вам кажется, вероятно, что все, что Вы говорите, очень просто и обыкновенно, а дл я меня каждое Ваше слово, взгляд, мысль кажутся чрезвычайно важны и необыкновенны. Ваша беседа переносит меня на такую высоту чувства, которая очень редко встречается в жизни и всегда глубоко трогает меня».

В 1879 г. Петр Николаевич продал свой дом доктору Яузской больницы для чернорабочих Н. А. Берензону, и последние годы проживал в доме № 12 в Большом Афанасьевском переулке, снесенном в 1960-1970-х годах.

В начале 2000-х годов в доме находилась контора, предоставляющая услуги ксерокопирования. Интерьеры старого дома сохранили многие антикварные детали времен Свистунова. Старые печи, двери, эклектичная псевдоготическая лепнина на потолках и стенах комнат. Но самой трогательной, именно старомосковской деталью была застекленная терраса, выходящая во двор. Сам двор давно застроен жилыми домами, только растущий под окнами жасмин напоминал о тех временах, когда эта улица была полусельской московской провинцией, переулками которой коровы ежеутренне ходили пастись на Девичье поле.