Выражение употребляется в значении «очень давно, в незапамятную старину», «ещё когда царь Горох с грибами воевал».

В сборнике «Народные русские сказки» А. Н. Афанасьева есть сказка, которая начинается так: «В то давнее время, когда мир Божий наполнен был лешими, ведьмами да русалками, когда реки текли молочные, берега были кисельные, а по полям летали жареные куропатки, в то время жил-был царь по имени Горох».

Остаётся только добавить, что произносим мы это выражение иронически, с полным недоверием ко всему, что происходило в правление этого сказочного царя.