Ali sündis Briti Indias Bombays, Yusuf Ali Allahbuksh'i (surnud 1891) pojana, tuntud ka kui Khan Bahadur Yusuf Ali, Dawoodi Bohra traditsioonis shi'i, kes pööras oma kogukonna traditsioonilisele äritegevusele selja ja sai selle asemel valitsuse politseiinspektoriks. Oma pensionile jäämisel sai ta tiitli Khan Bahadur avaliku teenistuse eest. Lapsena osales Yusuf Abdullah Ali Anumanjayat Him-ul-Islam koolis ja hiljem õppis misjonärikoolis Wilson College, mõlemad Bombayis. Ta sai ka religioosse hariduse 1896 ja lõpuks võis lugeda kogu Koraani mälestusest. Ta rääkis nii araabia kui ka inglise keelt. Ta keskendus oma jõupingutustele Koraanile ja õppis Koraani kommentaare, mis olid kirjutatud islami ajaloo alguses.
Araabia ja inglise keel