Skryf 'n voortsetting vir hierdie paragraaf - In hierdie hoedanigheid het Qasim in Julie-Augustus 803 'n inval in Bisantynse Klein-Asië gelei. Hy het die strategiese vesting van Koron beleër, terwyl sy luitenant al-'Abbas ibn Ja'far ibn Muhammad ibn al-Ash'ath gestuur is om 'n ander vesting, wat deur die Arabiere as Sinan bekend was, te beleër. Die Bisantyne het egter aangebied om 320 Moslemgevangenes vry te laat as hy sou vertrek, en hy het ingestem. In Februarie 808, toe Harun sy woonplek Raqqa verlaat het vir sy tweede ekspedisie na Khurasan, het hy Qasim agtergelaat as sy adjunk in Raqqa, met Khuzayma ibn Khazim as sy adviseur. Na Harun se dood en die troonstaan van al-Amin in 809 is Qasim in sy posisie as goewerneur van die "al-'Awasim" en van "jund Qinnasrin" bevestig, maar is blykbaar van sy goewerneurskap van die Jazira (Bo-Mesopotamië) verwyder, waar Khuzayma ibn Khazim in sy plek aangestel is. Uiteindelik, in 810, is Qasim deur Amin van al sy goewerneursskappe ten gunste van Khuzayma verwyder en onder streng toesig in Bagdad gebring. Amin het kort daarna verbied dat hy in die gebede genoem word, saam met Abdallah al-Ma'mun, wat byna in opstand gekom het in Khurasan. In die burgeroorlog
Daarna het Ma'mun sy broer, Amin, in 813 verslaan en doodgemaak. Onmiddellik daarna is Qasim formeel van sy posisie as opvolger afgedank.