Sein Vater war Dirigent, Jazzmusiker und Gründer der Elmdale Harmonica Band. Mit acht Jahren begann Reilly Geigespielen, ein paar Jahre später begann er mit der Mundharmonika. 1935 zog die Familie nach England.