На основании постановления Совета Министров Российской Империи от 24 мая 1906 года бывшие Курско — Харьково — Севастопольская и Харьково — Николаевская железные дороги с 1 января 1907 года были соединены в одну сеть под названием «Южные казенные железные дороги».

Управление Южных железных дорог организовалось в соответствии с Положением о местных Управлениях железных дорог, утвержденным коллегией Народною Комиссариата путей сообщения 13 июня 1919 года и приказами по Южным железным дорогам от 13 февраля 1920 года и 20 июля 1920 года.

Впоследствии переименования и изменения подчиненности Управления Южной железной дороги происходили таким образом:

с 1 января 1920 по 10 ноября 1920 года — Управление Южных железных дорог Народного Комиссариата путей сообщения;

с 11 ноября 1920 по 20 декабря 1926 года — Управление Южных железных дорог Южного округа путей сообщения;

с 21 декабря 1926 по 1 мая 1930 года — Правление Южных железных дорог Центрального Управления железнодорожного транспорта НКПС СССР;

со 2 мая 1930 по 12 июля 1933 года — Дирекция Южных железных дорог Народного Комиссариата путей сообщения СССР;

с 13 июля 1933 по 1 февраля 1934 года — Управление Южных железных дорог Народного Комиссариата путей сообщения СССР;

со 2 февраля 1934 по 16 октября 1945 года — Управление Южной железной дороги Народного Комиссариата путей сообщения СССР;

с 17 октября 1945 по 15 июля 1951 года — Управление Южной железной дороги Донецкого округа железных дорог;

с 16 июля 1951 по 26 ноября 1991 года — Управление Южной железной дороги Министерства путей сообщения СССР.

Согласно Закону Украины «О предприятиях, учреждениях и организациях союзного подчинения, расположенных на территории Украины» и постановления Кабинета Министров Украины от 31 октября 1991 года, а также приказа начальника дороги от 26 ноября 1991 года Южная железная дорога, ее отделения и предприятия перешли в государственную собственность Украины.

В соответствии с постановлением Кабинета Министров Украины от 14 декабря 1991 года Уставом Южной железной дороги, утвержденным 14 ноября 1991 года наименование и подчиненность стали выглядеть так: Государственная администрация железнодорожного транспорта Украины (Укржелдор) — Государственное предприятие «Южная железная дорога».

Приказом начальника дороги от 22 января 1992 года все предприятия, организации и учреждения, территориально расположенные в Российской федерации, были переданы Белгородскому отделению, которое соответственно вышло из состава Южной железной дороги.

С 25 февраля 1998 года Южная железная дорога приобрела статус Уставного территориально-отраслевого объединения.