После победы над другим ведущим соперником, Джоном Холманом, в аудитории Майами-Бич, Флорида, 9 мая 1956 года, он проиграл матч-реванш с Джексоном 26 сентября 1956 года.
В мае 1956 года Бейкер легко победил Джона Холмана. Бейкер также проиграл еще один матч-реванш раздельным решением судей с Джексоном 26 сентября 1956 года.