Его настоящее имя Абрам Пинкензон, но близкие звали его Муся от уменьшительно-ласкательного «Абрамуся», придуманного когда-то мамой. Он родился 5 декабря 1930 года в румынском (ныне молдавском) городке Бельцы в семье потомственных врачей. Ещё во младенчестве у Муси проявилась тяга к музыке. Талант раскрылся очень рано: уже в 5-летнем возрасте вундеркинд настолько виртуозно играл на скрипке, что о юном даровании писали все городские газеты.

В 1940 году Бессарабия, а вместе с ней и город Бельцы, вошла в состав СССР. Но на обыденной жизни семьи Пинкензонов этот процесс сильно не сказался. Муся, ставший пионером, продолжал усердно заниматься музыкой, его отец Владимир Пинкензон продолжал лечить людей.