בסוף 1905, הארי עזב את השלושה לאחר ויכוח עם ג'ולסון. הארי סירב לבקשתו לטפל בג'ו פאלמר, שהיה בכיסא גלגלים. לאחר עזיבתו של הארי, ג'ולסון ופאלמר עבדו כדואו, אך לא היו מוצלחים במיוחד. עד 1906 הם הסכימו להיפרד, וג'ולסון היה לבדו. הוא הפך להיות קבוע בתיאטרון גלוב ווויגאם בסן פרנסיסקו והיה מוצלח ברחבי המדינה כזמר וודוויל. הוא התיישב בסן פרנסיסקו, אומר רעידת האדמה
אנשים הרוסים היו זקוקים למישהו שיעודד אותם. ב-1908, ג'ולסון, שהיה זקוק לכסף לעצמו ולאשתו החדשה, הנריטה, חזר לניו יורק. ב-1909, השירה שלו תפסה את תשומת לבו של לואו דוקסטאדר, המפיק והכוכב של "המנגינות של דוקסטאדר". ג'ולסון קיבל את ההצעה של דוקסטאדר והפך למופע שחור.