En tant qu'amateur, il remporte une médaille d'or dans la division légère des poids lourds aux Jeux olympiques d'été de 1960 à Rome.
Ali a également remporté une médaille d'or olympique pour la boxe lors des Jeux olympiques d "été de 1960 à Rome, en Italie.