Эта песня родилась в знаменательный день - 9 мая 1945 года. Поэт и военный корреспондент Цезарь Солодарь в ночь с 8 на 9 мая присутствовал на историческом событии — подписании гитлеровским фельдмаршалом Кейтелем акта о безоговорочной капитуляции фашистской Германии. Утром он уехал по разрушенным улицам Берлина на аэродром и по дороге стал свидетелем эпизода, который и лёг в основу песни.

На оживлённом перекрёстке стояла девушка в солдатской шинели, с флажком в руке и властно регулировала движение. Тогда на берлинских перекрёстках было много молодых советских девушек-регулировщиц. Экраны кинотеатров всего мира обошли кадры документальной хроники, на которых была запечатлена одна из таких регулировщиц - Лидия Овчаренко из украинского города Сталино (Донецка).

К перекрёстку приближалась конная колонна, возглавляемая казаком в кубанке. Регулировщица движением флажка остановила поток машин и, улыбнувшись казаку, крикнула: «Давай, конница, не задерживай!».

Утром Солодарь улетал в Москву. В самолёте, под впечатлением этого мимолётного, но символического эпизода, он написал в своём блокноте: «По берлинской мостовой кони шли на водопой...» и далее, почти что не задумываясь, в поэтической форме описал увиденное.

В Москве он сразу же отправился к композиторам братьям Покрасс, известными своей склонностью к «кавалерийской» тематике и показал им своё сочинение.

- Раз воспевается конница, мы не можем не писать, - сказал Дмитрий Покрасс. - Только нужен короткий, лихой припев!.

И тут же сам предложил такой текст: «Казаки, казаки, едут, едут по Берлину наши казаки». А поздним вечером он позвонил Цезарю Солодарю и сообщил, что песня готова.

Через несколько дней её уже пел по радио Иван Шмелёв, и позже напел её и на грампластинку.

Так родилась последняя советская песня Великой Отечественной войны.

По берлинской мостовой Кони шли на водопой. Шли, потряхивая гривой, кони-дончаки. Распевает верховой:
«Эх, ребята, не впервой Нам поить коней казацких из чужой реки!» Казаки! Казаки! Едут, едут по Берлину наши казаки.
Он коней ведёт шажком. Видит - девушка с флажком И с косою под пилоткой на углу стоит. С тонким станом, как лоза,  Синевой горят глаза. «Не задерживая движенье!» - казаку кричит. Казаки! Казаки! Едут, едут по Берлину наши казаки.
Задержаться он бы рад, Но, поймав сердитый взгляд, «Ну-ка, рысью!» - с неохотой крикнул на скаку. Лихо конница прошла, А дивчина расцвела. Нежный взгляд не по уставу дарит казаку. Казаки! Казаки! Едут, едут по Берлину наши казаки.
По берлинской мостовой Снова едет верховой. Про любовь свою к дивчине распевает так: «Хоть далёко милый дом, Хоть далёко Тихий Дон, Но землячку и в Берлине повстречал казак». Казаки! Казаки! Едут, едут по Берлину наши казаки.