Er verlor seine Position nach der US-amerikanischen Besetzung. 2004 schloss er sich der Vorgängerorganisation des IS im Irak an. 2010 half er dabei, Abu Bakr al-Baghdadi an die Spitze des IS zu bringen. 2012 ging Al-Khleifawi nach Syrien.