Он ушел в отставку в 1952 году, но вернулся через два с половиной года и вернул себе титул чемпиона в среднем весе в 1955 году.
Позже в том же году Кармен Базилио также победила Робинсона за титул, но Робинсон победил его в 1958 году, чтобы вернуть себе чемпионство.