Yazidi ja tema poja ja järeltulija Mu'awiya II surm suhteliselt kiire järjestikuses aastal 683 684 põhjustas juhtimisvaakumit Damaskuses ja selle tagajärjel omajaadide autoriteedi kokkuvarisemist kogu kalifaadis. Enamik provintsi kuulutas oma truuduse rivaalile, Mekka-põhisele kaliif Abd Allah ibn al-Zubayr'ile. Süüria osades püüdsid vanemad araabia hõimud, kes olid kindlustanud oma privileegse positsiooni omajaadide õukonnas ja sõjaväes, eriti Banu Kalb, säilitada omajaadide valitsemist. Marwan ja tema perekond, sealhulgas Abd al-Malik, kolisid pärast seda Süüriasse, kus Marwan kohtus omavalitsuselt Iraagist äsja välja visatud pro-Umayyad Ubayd Allah ibn Ziyadiga. Ibn Ziyad veenis Marwanit oma kandidaadi kalifaadiks edasi andma oma kandidaadi ajal, kui Jâbiyas toimus oma rahva poolt valitud hõimude tippkohtumine, mida korraldas Kalbi pealiku Ibn Bahdal. Hõimu aadel valiti Marwani kaliifiks ja viimane sai sõltuvaks Kalbist ja selle liitlastest, keda kollektiivselt tuntakse kui "Yamanit" seoses nende väidetavalt jagatud Lõuna-Araabia (Yamani) juurtega. Nende võim tuli Qaysi hõimude arvelt, suhtelised uustulnukad, kes olid tulnud domineerima Põhja-Süürias ja Jaziras Mu'awiya I juhtimisel ja olid põgenenud Ibn al-Zubayr'ile. Marwan ja tema Yamani toetajad võitsid Qaysid Marj Rahiti lahingus.
684. aastal, mis põhjustas pikaajalise vereseisu ja rivaalsuse kahe hõimu koalitsiooni vahel. Abd al-Malik ei osalenud lahingus religioossetel põhjustel, vastavalt kaasaegsetele luuletustele, mis on koostatud Abu Tammami antoloogias (d. 845).