Khalifah
Setelah perang saudara pertama di penghujung masa Kekhalifahan Rasyidin, Hasan bin 'Ali menyerahkan tampuk kekuasaan kepada Mu'awiyah yang kemudian mengubah bentuk kekhalifahan menjadi monarki-dinasti, menandai dimulainya masa Kekhalifahan Umayyah. Berpusat di Damaskus, Bani Umayyah memegang tampuk kekhalifahan selama hampir seabad sebelum akhirnya digulingkan kelompok Abbasiyah yang mendirikan kekhalifahan-dinasti mereka sendiri mulai tahun 750. Berbeda dengan masa Khulafaur Rasyidin atau Umayyah, khalifah pada masa Abbasiyah tidak lagi memimpin secara langsung seluruh wilayah dunia Islam dan wilayah kekuasaannya hanya berkisar di kawasan Mesopotamia. Beberapa kepala negara Muslim (bergelar amir atau sultan) memimpin wilayah kekuasaan mereka secara mandiri tanpa campur tangan khalifah. Meski begitu, khalifah tetap dipandang sebagai pemimpin dunia Islam secara keseluruhan dan kepala negara Muslim yang lain memberikan ketundukkan mereka secara simbolis kepada khalifah. Berbeda dengan Umayyah yang sangat bercorak Arab, Abbasiyah yang berpusat di kawasan Mesopotamia memberikan corak Persia yang kental pada kekhalifahan.
Kekhalifahan Umayyah
Setelah itu, gerakan-gerakan lain yang dilancarkan oleh kelompok Khawarij dan Syi'ah juga dapat diredakan. Keberhasilan ini membuat orientasi pemerintahan Bani Umayyah mulai dapat diarahkan kepada pengamanan daerah-daerah kekuasaan di wilayah timur (meliputi kota-kota di sekitar Asia Tengah) dan wilayah Afrika bagian utara, bahkan membuka jalan untuk menaklukkan Spanyol (Al-Andalus). Selanjutnya hubungan pemerintah dengan golongan oposisi membaik pada masa pemerintahan Khalifah Umar bin Abdul-Aziz (717-720 M), di mana sewaktu diangkat sebagai khalifah, menyatakan akan memperbaiki dan meningkatkan negeri-negeri yang berada dalam wilayah Islam agar menjadi lebih baik daripada menambah perluasannya, di mana pembangunan dalam negeri menjadi prioritas utamanya, meringankan zakat, kedudukan mawali disejajarkan dengan Arab. Meskipun masa pemerintahannya sangat singkat, namun berhasil menyadarkan golongan Syi'ah, serta memberi kebebasan kepada penganut agama lain untuk beribadah sesuai dengan keyakinan dan kepercayaannya.