Als 1954 bei einem Flugzeugabsturz der Bass-Sänger der Blackwood Brothers (Gospel-Quartett aus Memphis) ums Leben kam, verließ Sumner schweren Herzens die Sunshine Boys, um fortan bei den bereits sehr bekannten Blackwoods zu singen.