Tydens die Duitse inval in die Sowjetunie in 1941 is Rall op 25 Junie aangestel as bevelvoerder van die Oostelike verdedigingsposisie en het hy toesig gehou oor die installering van kusbatterye op die eilande Bolshoy Tyuters en Lavensaari, en die lê van mynvelde in die Finse Golf. Hy het toe die taak gehad om deel te neem aan die ingewikkelde operasie om die skepe van die Baltiese vloot uit die beleërde Tallinn te ontruim
en bring hulle na Kronstadt. Rall is die bevel oor die agterhoede gegee. Met drie moontlike ontruimingsroetes het Rall aangeraai om die mees suidelike een te kies. Alhoewel dit deur vlak water en langs 200 myl van besette kuslyn met vyandige kusbatterye gegaan het, het Rall daarop gewys dat die kusbatterye hoofsaaklik uit ligte veldkanonne bestaan, wat maklik deur die Sowjet-maritieme artillerie onderdruk kon word, en dat 200 vaartuie die deurgang sonder probleme gemaak het. Die raad is verwerp deur Marshal Kliment Voroshilov, bevelvoerder van die Leningrad-front, wat bekommerd was oor die moontlikheid dat Letland en Estland se bemanning, en selfs Sowjet-seiljagters, na die vyand oorgeslaan het, het Rall en sy superieure Admiral Vladimir Tributs beveel om die middelste roete te neem, ondanks die feit dat dit swaar deur vyandelike magte gemineer is. Die ontruimingskonvoie het spoedig swaar verliese weens myne en lug aanvalle begin ly. Rall se vlagskip, die vernietiger "Kalinin", het op 'n myn neergestort en begin sink. Die vernietiger "Volodarskiy" het langs gekom om die bemanning af te haal, maar het ook 'n myn getref en gesink. Rall, wat beseer en geskok was, is op 'n cutter geneem. Hy is uiteindelik saam met die oorlewendes van die ontruimingsmag na Kronstadt teruggebring. Terwyl die Sowjet-leierskap 'n oorwinning behaal het in die ontruiming van 'n aantal troepe en vlugtelinge, het Rall opgemerk dat dit 'n "Tweede Tsushima" was, met verwysing na die swaar nederlaag in die Slag van Tsushima tydens die Russies-Japannese Oorlog.