М. Ибука родился в городе Никко. Его отец работал в небольшом дзайбацу (zaibatsu) в городе Фурукава и умер, когда его сын был еще совсем маленьким. После трудных лет детства М. Ибука сумел поступить в Университет Васеда, где занимался изучением электротехники. Еще будучи студентом университета он сделал несколько замечательных изобретений, принесших ему известность среди специалистов. Примерно в то же время он принял христианство, хотя и никогда не был горячим последователем новой религии. После окончания университета в 1933 г. он начал работать в фотохимической лаборатории, которая стала затем выпускать киноаппараты и кинопленку.

Не будучи полностью удовлетворенным работой в этой фирме, он перешел в другую, Nikon Koon Kogyo («Японская световая и звуковая техника»), а затем в 1940 г. основал новую компанию Nihon SokuteiKi («Японские измерительные инструменты»), выпускавшую устройства для обнаружения подводных лодок. Благодаря этой деятельности М. Ибука познакомился со многими офицерами военно-морского флота, и в том числе с Акио Морита, младшим лейтенантом технической службы. Сразу после окончания войны М. Ибука создал новую фирму Tokyo Tsushin Kenkyuio, основной продукцией которой были вольтметры. Через полгода она вошла в состав Tokyo Telecommunication Engineering, которая в 1958 г. была переименована в Sony.

М. Ибука стал директором фирмы в 1950 г. и председателем совета директоров в 1971 г., при этом А. Морита занял его освободившееся место. В 1976 г. М. Ибука стал почетным председателем совета директоров Sony, а А. Морита – ее президентом.

Скончался 17 декабря 1997 года в Токио.