Khalifah
Setelah perang saudara pertama di penghujung masa Kekhalifahan Rasyidin, Hasan bin 'Ali menyerahkan tampuk kekuasaan kepada Mu'awiyah yang kemudian mengubah bentuk kekhalifahan menjadi monarki-dinasti, menandai dimulainya masa Kekhalifahan Umayyah. Berpusat di Damaskus, Bani Umayyah memegang tampuk kekhalifahan selama hampir seabad sebelum akhirnya digulingkan kelompok Abbasiyah yang mendirikan kekhalifahan-dinasti mereka sendiri mulai tahun 750. Berbeda dengan masa Khulafaur Rasyidin atau Umayyah, khalifah pada masa Abbasiyah tidak lagi memimpin secara langsung seluruh wilayah dunia Islam dan wilayah kekuasaannya hanya berkisar di kawasan Mesopotamia. Beberapa kepala negara Muslim (bergelar amir atau sultan) memimpin wilayah kekuasaan mereka secara mandiri tanpa campur tangan khalifah. Meski begitu, khalifah tetap dipandang sebagai pemimpin dunia Islam secara keseluruhan dan kepala negara Muslim yang lain memberikan ketundukkan mereka secara simbolis kepada khalifah. Berbeda dengan Umayyah yang sangat bercorak Arab, Abbasiyah yang berpusat di kawasan Mesopotamia memberikan corak Persia yang kental pada kekhalifahan.
Kekhalifahan Abbasiyah
Meskipun begitu, kekhalifahan tetap bertahan sebagai simbol yang menyatukan umat Islam. Pada masa pemerintahannya, Bani Abbasiyah mengklaim bahwa dinasti mereka tak dapat disaingi. Namun kemudian, Said bin Husain, seorang muslim Syiah dari dinasti Fatimiyyah mengaku dari keturunan anak perempuannya Nabi Muhammad, mengklaim dirinya sebagai Khalifah pada tahun 909, sehingga timbul kekuasaan ganda di daerah Afrika Utara. Pada awalnya ia hanya menguasai Maroko, Aljazair, Tunisia, dan Libya. Namun kemudian, ia mulai memperluas daerah kekuasaannya sampai ke Mesir dan Palestina, sebelum akhirnya Bani Abbasyiah berhasil merebut kembali daerah yang sebelumnya telah mereka kuasai, dan hanya menyisakan Mesir sebagai daerah kekuasaan Bani Fatimiyyah. Dinasti Fatimiyyah kemudian runtuh pada tahun 1171. Sedangkan Bani Umayyah bisa bertahan dan terus memimpin komunitas Muslim di Spanyol, kemudian mereka mengklaim kembali gelar Khalifah pada tahun 929, sampai akhirnya dijatuhkan kembali pada tahun 1031.