1905. aasta lõpus lahkus Harry triost pärast tülitsemist Jolsoniga. Harry oli keeldunud Joe Palmeri eest hoolitsemisest, kes oli ratastoolis. Pärast Harry lahkumist töötasid Jolson ja Palmer duoks, kuid ei olnud eriti edukad. Aastal 1906 otsustasid nad lahku minna ja Jolson oli omaette. Ta sai regulaarseks külastajaks Globe ja Wigwam teatris San Franciscos ning oli edukas kogu riigis vaudeville'i lauljana. Ta asus elama San Franciscos, öeldes, et maavärin
- hävitatud inimesed vajasid kedagi, kes neid rõõmustaks. 1908. aastal läks Jolson New Yorki tagasi, sest vajas raha enda ja oma uue naise Henrietta jaoks. 1909. aastal pälvis tema laulmine tähelepanu Lew Dockstaderile, Dockstaderi Minstrelli produtsendile ja staarile. Jolson võttis Dockstaderi pakkumise vastu ja sai musta näoga näitlejaks.