В очень молодом возрасте Ма начал изучать скрипку, а затем альт, прежде чем найти свое истинное призвание, взявшись за виолончель в 1960 году в возрасте четырех лет.
Ма начал учиться игре на скрипке, когда был очень маленьким. Он также некоторое время играл на альте, а затем, в возрасте четырех лет, он начал играть на виолончели.