Из басни «Мартышка и Очки» (1813) И. А. Крылова (1769—1844):

Мартышка к старости слаба глазами стала; А у людей она слыхала, Что это зло еще не так большой руки: Лишь стоит завести Очки.

В основе выражения — старинная идиома «...большой руки». Например, «начальник большой руки», то есть большой, важный начальник. Иносказательно: невеликая, небольшая беда (арх.).