Nach Absolvierung seiner U-Bootausbildung im Sommer 1941 fuhr er als Erster Wachoffizier auf U 652 und erhielt am 17. Juni 1942 das Kommando auf U 664. Adolf Graef wurde in Kriegsgefangenschaft am 1. Oktober 1943 zum Kapitänleutnant befördert.