In Schwelm folgte ihm sowohl 1920 als auch 1921 August Erdmann im Amt. Wahrscheinlich wurde Graf daraufhin als Regierungsrat an die Regierung Minden versetzt, wo er im August 1922 als Regierungsrat „in Sonderstellung“ geführt wurde.