רנדוליץ' נקרא לצבא הגרמני, הוורמאכט, בשנת 1938, לאחר סיפוח אוסטריה לגרמניה. הוא פיקד על דיוויזיית חיל הרגלים ה-14 (23 ביוני - 10 באוקטובר 1940); דיוויזיית חיל הרגלים ה-52 (1940 - 1942); והגדוד ה- XXXV (1942 - 1943), שבו השתתף בקרב קורסק.
אני לא יודע. מ-1943 עד 1944, רנדוליץ' פיקד על צבא הפאנזר השני במהלך מלחמת העולם השנייה ביוגוסלביה. בתחילת 1944, הקנצלר הגרמני אדולף היטלר הורה לרנדוליץ להמציא תוכנית ללכידת מנהיג הפרטיזנים היוגוסלביים, יוסיפ ברוז טיטו. במתקפה על דרואר ב-25 במאי 1944, צנחנים גרמנים תקפו את המפקדה הפרטיזנית בדרואר (מערב בוסניה) בחיפוש אחר טיטו, אך בסופו של דבר לא הצליחו ללכוד אותו, וסבלו מאבדות כבדות.