Schon in seiner Jugend wurde er dort als Jazz-Klarinettist und Saxophonist bekannt, 1923 nahm er mit den New Orleans Rhythm Kings auf; Murray war aber kein reguläres Mitglied der Band, stieg jedoch immer wieder bei Sessions ein.