Елизавете Алексеевне было всего 22 года, когда муж охладел к ней и завел официальную фаворитку. Причины охлаждения точно неизвестны. В качестве предположений современники и исследователи обычно называют слишком ранний брак царственной четы, воспоминания Александра о страшной мартовской ночи 1801 г., когда хладнокровно державшаяся супруга была свидетелем его слабости, наконец, сплетни о романе Елизаветы с Чарторыйским, достоверность которых до сих пор не доказана. Так или иначе, но вскоре после вступления Александра I на престол его отношения с женой ограничились в основном соблюдением придворного этикета, вечерними чаепитиями и довольно редкими дружескими беседами. Между тем сердце молодой женщины жаждало любви и материнства.

В 1803 г. Елизавета обратила внимание на красивого офицера Кавалергардского полка Алексея Охотникова, бросавшего на нее нежные взгляды. Сначала она вряд ли предполагала, как далеко это может зайти. Строгий дворцовый этикет не позволял императрице вступать в разговоры с офицерами, даже допущенными ко двору. Поэтому в течение целого года проявление взаимных чувств выражалось лишь в пойманных взглядах во время случайных встреч и коротких надписях на коре деревьев в укромном уголке парка: «E», «Alexis», «Я был здесь, чтобы видеть Вас» и др. Такая романтическая игра была довольно популярна в начале ХIХ века. Эти невинные знаки внимания Елизавета тщательно фиксировала в своем дневнике. Вскоре даже мимолетные встречи с кавалергардом на прогулке, в церкви или на балу приобрели для нее такое большое значение, что в дни, когда ей не удавалось его увидеть, она писала в дневнике: «Плохо», «Очень плохо».

В сердечную тайну императрицы был посвящен узкий круг лиц: ее сестра Амалия Баденская, проживавшая в Санкт-Петербурге, княгиня Н. Ф. Голицына, графиня С. В. Строганова, а также несколько друзей Охотникова. При этом принцесса Амалия и Голицына потворствовали увлечению Елизаветы, а Строганова, напротив, пыталась ее образумить. Судя по содержанию дневника, императрица предпринимала неоднократные попытки подавить в себе возникшее чувство, но все ее старания были напрасны. Недели борьбы перечеркивал один взгляд кавалергарда. В конце 1803 г. у влюбленных появился посредник (возможно, Голицына), через которого они стали обмениваться письмами и портретами-миниатюрами. Случались и настоящие свидания. Летом, когда Елизавета Алексеевна жила в Каменноостровском дворце, безлунными ночами Охотников взбирался в ее покои через окно. В одном из его писем к ней говорится: «Не беспокойся, часовой меня не видел, однако я поломал цветы под твоим окном».

Но запретное счастье императрицы продолжалось недолго. 30 января 1807 г. 25-летний А. Я. Охотников умер. Скорее всего, причиной смерти стала чахотка, от которой он страдал в последние годы своей жизни. В 1805 г. его состояние было уже достаточно тяжелым, ибо у него случались горловые кровотечения. Осенью 1806 г. «за грудной болезнью» кавалергард вышел в отставку. При этом существует версия, что Охотников скончался от смертельной раны кинжалом, полученной им в октябре 1806 г. при выходе из театра. По мнению современных исследователей, это всего лишь легенда, которая возникла позднее и была направлена против великого князя Константина Павловича, якобы выступившего в роли заказчика данного преступления.

Императрица Елизавета Алексеевна. Неизвестный художник.

Елизавета инкогнито навестила умиравшего возлюбленного и очень трогательно простилась с ним. Через полгода с разрешения родных Охотникова она установила на его могиле на Лазаревском кладбище Александро-Невской лавры мраморный памятник, сохранившийся до наших дней. Он изображает скорбящую женскую фигуру с урной в руках, сидящую на скале рядом с разбитым молнией деревом.

3 ноября 1806 г. императрица родила дочь Елизавету, на которую перенесла всю свою любовь и нежность. Александр I, наоборот, относился к ребенку довольно холодно, в чем его неоднократно упрекала Мария Фёдоровна, не понимавшая странного поведения сына. Через полтора года девочка скончалась. Только после этого Александр открыл своей матери щекотливые обстоятельства, связанные с рождением великой княжны: император не был ее настоящим отцом, Елизавета, сознавшись мужу в неверности, хотела от него уйти, но он простил ее и признал ребенка своим, при этом благодарил Бога за то, что родилась девочка, ибо ей не нужно будет передавать престол.

В отличие от любовной связи Александра с Нарышкиной роман Елизаветы с Охотниковым в то время огласки не получил. После смерти императрицы ее дневники и хранившиеся у нее письма кавалергарда были сожжены Николаем I. Однако благодаря двум женщинам из императорской семьи, возмущенным поступком Елизаветы, ее тайна не умерла вместе с ней. Мария Фёдоровна посетовала на супружескую неверность невестки своему секретарю Г. И. Вилламову, который записал содержание этого секретного разговора. А императрица Александра Фёдоровна, супруга Николая I, выразила переполнявшее ее негодование в своем дневнике, где привела также несколько цитат из показанных ей мужем писем Охотникова. Эти записи долгое время оставались практически единственными свидетельствами тайной любви Елизаветы, пока в начале ХХI века не были обнаружены, переведены и опубликованы чудом уцелевшие фрагменты потайного дневника самой императрицы, повествующие о зарождении ее чувства.

Однако, несмотря ни на что, Елизавета всегда оставалась верным другом и единомышленником Александра, неизменно поддерживая его во всех трудных обстоятельствах. Особенно сильно это проявилось в эпоху 1812 года, когда она стала настоящей русской императрицей.