Разумовский умел хорошо держать себя на той высоте, на которую был возведен. Хотя отношения его к императрице и были известны, но он всячески старался скрывать их, не гордился своим положением, был со всеми приветлив, всем услужлив и тем приобрел искреннюю любовь окружавших Елизавету. Сначала жил он в одном дворце с императрицей, а потом для него был построен особый дворец, известный ныне под названием Аничкова. Богатства Разумовского были несметны, и он умел ими пользоваться. Много добра делал он бедным и несчастным, снабжая их деньгами или ходатайствуя за них пред Елизаветой. Он любил поиграть в банк, и если узнавал, что кто-нибудь нуждается в денежных средствах, приглашал его играть и нарочно проигрывал ему более или менее значительные суммы. Одно в нем было неприятно: любил иногда выпить лишнюю рюмку вина и во хмелю был неспокоен, как говорит в своих «Записках» учитель Павла Петровича, Порошин. Это было, говорят, причиной охлаждения к нему Елизаветы, последовавшего года через четыре после брака. Елизавета Петровна, любившая театральные представления, в то время даваемые в сухопутном кадетском корпусе, однажды приехала туда нечаянно и, придя в театр, увидала на сцене спящего молодого человека, бывшего уже на выпуске. Это был Никита Афанасьевич Бекетов, к которому, как тогда говорили, "счастье во сне пришло". По окончании спектакля он был пожалован в сержанты, а месяца через три выпущен из корпуса прямо премьер-майором (то есть подполковником) Преображенского полка и назначен генеральс-адъютантом к Разумовскому, Разумовский был совершенно равнодушен к возвышению нового любимца и был с ним в самых приятных отношениях. Но граф Петр Иванович Шувалов, опасаясь возраставшего влияния Бекетова, сблизился с этим неопытным юношей и вкрался в его доверенность. Расхваливая его красоту, особенно же белизну его лица, он советовал для поддержания ее употреблять какое-то притиранье, которое и дал ему. Бекетов поступил по совету Шувалова, и лицо его покрылось сыпью. Жена Шувалова, Мавра Егоровна, урожденная Шепелева, еще с ранней молодости Елизаветы пользовавшаяся особенною ее доверенностью и посвященная во все ее тайны, сказала ей, что Бекетов ведет распутную жизнь и заразился. Его тотчас же отправили в армию, а место его заступил Иван Иванович Шувалов, брат графа Петра Ивановича.

Разумовский и с Шуваловым, и с другими фаворитами находился в столь же приятных отношениях, как и с Бекетовым. Впоследствии, по вступлении на престол Екатерины II, он совершенно отказался от двора и вел жизнь уединенную, выезжая только в церковь.

Вскоре по вступлении на престол Екатерины II Григорий Григорьевич Орлов, стремившийся занять положение, подобное положению Разумовского, сказал императрице, что брак Елизаветы, о котором пишут иностранцы, действительно был совершен, и у Разумовского есть письменные на то доказательства. На другой день Екатерина велела графу Воронцову написать указ о даровании Разумовскому, как супругу покойной императрицы, титула императорского высочества и проект указа показать Разумовскому, но попросить его, чтоб он предварительно показал бумаги, удостоверяющие в действительности события.

"Такое приказание, — рассказывал впоследствии граф С. С. Уваров (в Варшаве за обедом у наместника, князя Паскевича), — Воронцов слушал с величайшим удивлением, на лице его изображалась готовность высказать свое мнение, но Екатерина, как бы не замечая того, подтвердила серьезно приказание и, поклонившись благосклонно, с свойственною ей улыбкой благоволения, вышла, оставя Воронцова в совершенном недоумении. Он, видя, что ему остается только исполнить волю императрицы, поехал к себе, написал проект указа и отправился с ним к Разумовскому, которого застал сидящим в креслах у горящего камина и читающим священное писание.

После взаимных приветствий, между разговором, Воронцов объявил Разумовскому истинную причину своего приезда; последний потребовал проект указа, пробежал его глазами, встал тихо с своих кресел, медленно подошел к комоду, на котором стоял ларец черного дерева, окованный серебром и выложенный перламутром, отыскал в комоде ключ, отпер им ларец и из потаенного ящика вынул бумаги, обвитые в розовый атлас, развернул их, атлас спрятал обратно в ящик, а бумаги начал читать с благоговейным вниманием.

Все это он делал, не прерывая молчания. Наконец, прочитав бумаги, поцеловал их, возвел глаза, орошенные слезами, к образам, перекрестился и, возвратясь с приметным волнением души к камину, у которого оставался граф Воронцов, бросил сверток в огонь, опустился в кресла и, помолчав еще несколько, сказал:

"…Я не был ничем более, как верным рабом ее величества, покойной императрицы Елизаветы Петровны, осыпавшей меня благодеяниями выше заслуг моих. Никогда не забывал я, из какой доли и на какую степень возведен был десницею ее. Обожал ее, как сердолюбивую мать миллионов народа и примерную христианку, и никогда не дерзнул самою мыслию сближаться с ее царственным величием. Стократ смиряюсь, воспоминая прошедшее, живу в будущем, его же не прейдем, в молитвах к вседержителю. Мысленно лобызаю державные руки ныне царствующей монархини, под скипетром коей безмятежно в остальных днях жизни вкушаю дары благодеяний, излиянных на меня от престола. Если бы было некогда то, о чем вы говорите со мною, поверьте, граф, что я не имел бы суетности признать случай, помрачающий незабвенную память монархини, моей благодетельницы. Теперь вы видите, что у меня нет никаких документов, доложите обо всем этом всемилостивейшей государыне, да продлит милости свои на меня, старца, не желающего никаких земных почестей. Прощайте, ваше сиятельство! Да останется все происшедшее между нами в тайне! Пусть люди говорят, что им угодно; пусть дерзновенные простирают надежды к мнимым величиям, но мы не должны быть причиной их толков".

От Разумовского Воронцов поехал прямо к государыне и донес ей с подробностью об исполнении порученного ему. Императрица, выслушав, взглянула на Воронцова проницательно, подала руку, которую он поцеловал с чувством преданности, и вымолвила с важностью:

"Мы друг друга понимаем: тайного брака не существовало, хотя бы то для усыпления боязливой совести. Шепот о сем всегда был для меня противен. Почтенный старик предупредил меня, но я ожидала этого от свойственного малороссам самоотвержения".