Начиная с середины 1944 года, этот марш часто звучал сразу же после оглашения Юрием Левитаном приказа Верховного Главнокомандующего по поводу очередной победы Красной Армии над врагом, в радиоконцертах.

Роль советской артиллерии в разгроме гитлеровских полчищ было трудно переоценить, и главный маршал артиллерии Николай Николаевич Воронов не раз задумывался над вопросом необходимости создания марша-песни, которая стала бы чем-то вроде гимна артиллеристов. Композитор Анатолий Новиков и поэт Сергей Васильев с энтузиазмом принялись выполнять «боевую задачу» Главкома.

Первым засел за работу поэт Сергей Васильев. Буквально каждую сочинённую им строфу он старался согласовать с Вороновым, и тот, несмотря на большую занятость, охотно принимал участие в творческом процессе, внося и свои уточнения. Когда окончательный вариант текста был написан и согласован, за создание мелодии песни принялся композитор Анатолий Новиков.

Приём «заказа» происходил в штабе Воронова в присутствии нескольких генералов. Отпечатанный на листках текст был роздан всем присутствующим. Новую песню демонстрировал солист Краснознамённого ансамбля Красной Армии Николай Устинов. После первого исполнения её спели снова, но на этот раз уже песню подхватили все присутствовавшие тогда в штабе. И это был знак, что песня всем понравилась.

Когда наступила тишина, все взоры обратились к Николаю Николаевичу Воронову. Тот сказал, что песня получилась хорошая, но может ли она быть маршем? И тут же он сам, и его генералы стали маршировать по кабинету, проверяя степень «маршеобразности» новой песни. В результате все убедились, что это действительно марш, и что его можно смело отдавать на «вооружение» в артиллерийские подразделения.

Вскоре «Марш артиллерии» прочно вошёл в репертуар Краснознамённого ансамбля, был записан на пластинку и приобрёл широкую популярность не только на фронтах, но и тылу. И эта популярность нисколько не уменьшилась даже после появления замечательного творения Тихона Хренникова и Виктора Гусева «Песня артиллеристов».