Существует легенда о том, что уже в VI веке до н.э. Конфуций семь дней беспрерывно наслаждался звучанием мелодий на «ребрах тигра» (металлических пластинах, издающих звуки различной высоты), считается, что этот механизм изобрел в 1796 году швейцарский механик Антуан Фавр.

В Западной Европе этот механический музыкальный инструмент появился в конце XVII века. Поначалу это был «птичий органчик» для обучения певчих птиц, а затем его взяли «на вооружение» бродячие музыканты. Так появился музыкальный инструмент для тех, кто не умеет играть. Крутишь ручку — раздается музыка. Чаще всего звучал тогдашний шлягер «Прелестная Катарина» (по-французски «Сharmant Katarina») От названия песенки и произошло название инструмента — шарманка.