Переулок этот, возникший «между Покровкой и Фроловной», как говорили в старину москвичи, не раз, как и эти улицы, менял свое название. Фроловка в XIX веке была переименована в Мясницкую (ныне ул. Кирова), а отрезок Покровки от Ильинских до Покровских ворот стал называться Маросейкой по стоявшему на ее углу с Большим Златоустинским переулком Малороссийскому подворью (с января 1954 г. Маросейка переименована в ул. Богдана Хмельницкого). С начала своего возникновения, примерно во вторую треть XVII века, переулок назывался то Никольским, то Столповским по церкви Николая Чудотворца в Столпах, стоявшей с XVI века на углу с Малым Златоустинским переулком.

В середине XVII века переулок облюбовали для местожительства бояре Артамон Сергеевич Матвеев и Иван Михайлович Милославский. Будучи соседями — дворы их располагались рядом, они долгие годы боролись за первенство в Боярской думе и оттого люто ненавидели друг друга. Первенство здесь чаще одерживал Матвеев, один из просвещеннейших людей России того времени, знаток европейских языков, собиратель книжных редкостей, человек, участвовавший в создании русского театра. Славен Матвеев был и своими ратными подвигами, за что пользовался уважением в народе. Вот, например, что писал о нем современник Ф. И. Тютчева С. Г. Саларев, опубликовавший в 14-й части «Трудов Общества любителей российской словесности» за 1819 год свое исследование:

«Когда царь Алексей Михайлович убедил Матвеева построить себе новый дом, у него не оказалось строительного камня. Тогда народ, узнав об этом, собрался к нему на двор и привез камень. Матвеев, сошедши с крыльца, видит целый двор надгробных камней; тогда народ говорит ему: «Эти камни покрывали могилы отцов наших, купить их нельзя ни за какие деньги, а мы дарим ими тебя, нашего благодетеля...»

В годы возвышения Матвеева переулок назывался его именем — Артамоновским. Кстати сказать, именно на воспитаннице Артамона Матвеева Наталье Кирилловне Нарышкиной, будущей матери первого российского императора Петра Великого, женился вдовый царь Алексей Михайлович.

Боярин Милославский, построивший свой дом рядом с усадьбой Матвеева, имел многодетную семью. Он так же, как и его недруг, был приближен ко двору и играл важную роль в событиях первых лет царствования юных Ивана и Петра Алексеевичей. Дворцовые интриги бояр и стали в определенной мере причиной стрелецкого бунта 1682 года, во время которого Матвеев был убит в Кремле. Его похоронили возле церкви Николая Чудотворца, а дом унаследовал сын Андрей, русский посол в Гааге и Вене, руководивший одно время Морской академией, а в последние годы царствования Петра I ставший московским губернатором.

Ненадолго пережил Артамона Матвеева и Милославский, его также похоронили близ той же церкви. Но в 1698 году вдруг выявилось участие Милославского в заговоре, в результате которого был убит Матвеев. Тогда-то тело Милославского было выкопано и на свиньях перевезено в вотчину молодого царя Петра I — село Преображенское, где посмертно предано казпи. Усадьба Милославского была передана в казну.

В конце XVII века подлинным шедевром национального русского зодчества стала церковь Николая Чудотворца, возведенная в Столпах. Тогда же над нею, уже каменною, была построена вторая — церковь Рождества Богородицы, богато украшенная белокаменной резьбой. Проходившая по основанию с трех ее сторон галерея подпиралась двенадцатью кувшинообразными столбами из камня. Здание церкви удачно сочеталось с галереей и колоннами нижнего храма.

Невдалеке, на прицерковном кладбище, до 1820 года стоял памятник в виде избы с высокой тесовой крышей над захоронениями боярина Матвеева, жены его, сына, невестки и двух слуг. В начале 1820-х годов надгробие это праправнук А. С. Матвеева граф Н. П. Румянцев заменил на новое, в виде саркофага с двумя портиками и колоннами, который и простоял до 1930-х годов.

В середине XVIII века в Столповском переулке поселилась богатая армянская семья Лазаревых, представитель второго поколения которой Иван Лазаревич Лазарев даже вошел в круг государственных сановников, решавших при Екатерине II ключевые вопросы российской политики. При активном содействии этой высококультурной семьи в переулке в 1779 году была сооружена армянская Крестовоздвижеиская церковь, а сам переулок стал называться Армянским.

Одними из первых домовладельцев интересующей нас усадьбы под № 11 в Армянском переулке по предположениям были Милославские. Потом среди владельцев дома мы находим наследников князя Дмитрия Андреевича Волконского, племянника и сподвижника известного боярина Ф. Ф. Волконского, воеводы царя Алексея Михайловича. Владел домом и Матвей Васильевич Дмитриев-Мамонов, один из важных сенаторов екатерининского времени. Это его внук Матвей Александрович Дмитриев-Мамонов прославился по Москве тем, что в самом начале Отечественной войны 1812 года на свои деньги экипировал целый полк, вооружил и повел его на борьбу с неприятелем.

Затем дом перешел к известной в Москве богатой семье Глебовых.

Наконец, в марте 1790 года этот особняк у жены коллежского асессора Николая Алексеевича Глебова Марфы Григорьевны был куплен женой капитана 2-го ранга князя Ивана Сергеевича Гагарина Марьей Алексеевной.

Забор в забор с приобретенной Гагариной усадьбой, занимая часть некогда бывшего владения Матвеевых, находилась усадьба действительного статского советника Ивана Лазаревича Лазарева. А по другую сторону, ближе к Покровке, находился двор тайного советника, сенатора и кавалера разных орденов Федора Ивановича Левашева. Прямо напротив гагаринской усадьбы в 1793 году у полковника Хлебникова знаменитый полководец, фельдмаршал граф П. А. Румянцев-Задунайский приобрел большой трехэтажный каменный дом, стоявший на углу Армянского переулка и Маросейки. Он велел его переделать на современный манер, расписать внутренние стены особняка картинами сражений, в которых сам участвовал.

Определенная известным знатоком прошлого Москвы С. К. Романюком дата покупки Гагариными дома (1790) позволяет нам довольно точно определить и время начала перестройки старого строения (начало последнего десятилетия XVIII века), которую затеял не хотевший ударить в грязь лицом перед соседями состоятельный князь. Для этого он привлек хорошо известного в Москве талантливого архитектора Матвея Федоровича Казакова.

Зодчий, уже имея перед собой натуру, не смог следовать своему правилу — выносить фасад главного здания на красную линию переулка, «организуя этим приемом ансамбль улицы или площади», а проводил работы на том же месте, где находилось прежнее строение.

О его осуществленных планах говорят дошедшие до нашего времени чертежи архитектора, а также изыскательские работы реставраторов мастерской № 13 «Моспроекта-2».

По свидетельству начавшей реставрацию особняка в конце 1970-х годов архитектора-реставратора Н. В. Ильенковой, в этом памятнике истории и зодчества соединены разные эпохи и стили. Не дом, а история архитектуры! Почерк великого Казакова, например, виден в левой части этого здания, где сохранилась старинная лестница с прекрасно продуманным двусторонним освещением. Но в ходе исследований, проводившихся в «недрах» сооружения, удалось обнаружить характерные черты, присущие XVII и даже XVI векам! Однажды проем, пробитый в толще степы, круто и глубоко увел реставраторов под древние своды, и им открылись четыре просторные белокаменные палаты общей площадью около 500 квадратных метров. Архитекторы определили «возраст» — им 400 лет! Потом нашлось и доказательство — красный терракотовый изразец, типичный для XVI столетия.

Из палат стало возможным попасть в следующий век — кирпичную галерею, пристроенную со стороны двора. Раскопанные ступени дали и первые находки — две курительные трубки XVIII века из белой керамики. На одной из них обнаружено чернильное пятно с отпечатком пальца — не иначе как трубка принадлежала пишущему человеку. А потом, по ходу реставрации, было найдено немало изразцов, различных профильных детален, черепков старинной посуды и бытовой утвари. А в левом флигеле во дворе было обнаружено помещение бывшей кухни, облицованной красивыми изразцами — голубые цветы на белом поле.

А само удлиненное в плане здание имело по фасаду два симметричных выступа, в которых в XVIII веке находились входы. Дом был обстроен службами, образовавшими обширный двор. В левой его части располагались служебные помещения — кухня и квартиры прислуги, а в правой — конюшня и небольшой жилой флигель, выходивший фасадом в Армянский переулок.

Слева и справа к главному дому Казаков пристроил дополнительные помещения, а главный вход он перенес в левую часть здания, ближе к вновь возведенной парадной лестнице (о которой уже говорилось) с забежными ступенями, на столбах. Эта лестница вела на второй этаж в аванзал-столовую, которой открывалась анфилада парадных комнат.

Столовая, имевшая двустороннее освещение благодаря шести окнам и разделявшаяся на две части отдельно стоявшими колоннами, при необходимости могла быстро превращаться в танцевальный зал. Отапливалась она двумя большими печами, уступами выходившими на середину помещения. Выход на балкон через стеклянные двери в центре подчеркивал внушительные размеры зала и придавал ему дополнительную парадность. Стены были красиво декорированы спаренными пилястрами коринфского ордера. Внушительными, торжественными были и парадные двери.

Расположенная с левой стороны столовой потайная дверь открывалась в сервировочную и вела на небольшую лестницу внутри дома, по которой можно было спуститься на первый этаж.

Массивная дверь вела в следующую комнату — каминную, с двумя угловыми печами. Дверь из нее выходила на большой балкон, тянувшийся вдоль всего главного фасада и державшийся на колоннах коринфского ордера. Откосы окон каминной комнаты и стоящий посередине камин были отделаны искусственным мрамором.

Далее шла спальня с альковом, скрытым за колоннами и имевшим выход в другие помещения. Вся анфилада комнат завершалась кабинетом хозяина дома, из которого был выход на небольшую лестницу, ведшую на третий этаж в библиотеку.

Со стороны столовой на третий этаж также вела парадная лестница, приводящая в угловую проходную комнату, из которой раскрывалась анфилада помещений третьего этажа вдоль всего главного фасада. Параллельно ей из той же проходной комнаты шла анфилада помещений уже с окнами на задний двор. Все комнаты были довольно скромного архитектурного убранства и соединялись между собой арочными проемами. Полы, в отличие от паркетных второго этажа, были дощатыми.

Владелец усадьбы князь Иван Сергеевич Гагарин был высокообразованным человеком. Среди его постоянных собеседников и друзей находились историк Н. М. Карамзин, поэт И. И. Дмитриев, ректор Московского университета И. П. Тургенев, другие литераторы и общественные деятели. Он и детям старался дать прекрасное образование. Сын его Григорий, например, учившийся вместе с В. А. Жуковским в Благородном пансионе при Московском университете, стал потом почетным членом знаменитого литературного общества «Арзамас», а впоследствии видным дипломатом. Назначенный в 1833 году русским посланником в Баварию, он на четыре года стал непосредственным начальником Ф. И. Тютчева.

Двадцать лет особняк в Армянском переулке принадлежал Гагариным. Но вот 20 января 1810 года «умре на христианской должности флота капитан Иван Сергеевич Гагарин, коему от роду было 64 года». Сыновья его, жившие уже отдельно от родителя, объявили вскоре о продаже дома, а тут как раз и нашлись состоятельные покупатели:

«Лета тысяча восемьсот десятого декабря, в двадцать второй день, тайный советник князь Сергей Иванов сын Гагарин и коллежский советник... камергер и кавалер князь Григорий Иванов сын Гагарин продали мы коллежского асессора Ивана Николаева сына Тютчева жене Катерине Львовой дочери и наследникам ее крепостной свой двор на Белой земле состоящей в Мясницкой части третьего квартала под номером двести десятым в приходе церкви Николы Чудотворца, что в Столпах, что в Армянской улице со всем на том дворе дворовым и хоромным каменным и деревянным строением... А взяли мы, Сергей и Григорий, у нее Катерины за тот свой двор с землею и всем вышеописанным денег государственными ассигнациями пятьдесят пять тысяч рублей...»