כתוב המשך לפרק זה - בתחילת המלחמה הרוסית-יפנית (1904<unk>1905), זארובאייב נעשה מפקד חיל הצבא הסייברי הרביעי, שהיה מורכב מהבריגדות הרז'רביות השנייה והשלישית של סיביר. הוא הצליח להדוף את התקפותיו של הגנרל היפני יאסוקאטה אוקו במהלך קרב טאשיצ'יאו, אך קיבל פקודה לסגת על ידי הגנרל אלכסיי קורופאטקין במקום לעקוב אחר הצלחתו. כמו כן, בקרב ליאויאנג, הוא החזיק בהצלחה את עמדתו נגד התקפות יפניות חוזרות ונשנות, אך שוב סירב לקבל תגבורת על ידי קורופאטקין והורה לו לסגת. בקרב שאהו
, כוחותיו הוחזקו לרוב במילואים, והשתמשו כדי לחזק את הקו המכסה את נסיגת קורופטקין. במהלך קרב מוקדן, כוחותיו של זארובאייב החזיקו בעמדותיהם במשך עשרה ימים מ-12 עד 22 בפברואר. החל מ-23 בפברואר, זארובאייב פיקד על כוח משולב של חיל הצבא הסביר הרביעי ושל חיל הצבא הסביר הראשון. עם זאת, הכוח המשולב הזה בוטל ב-25 בפברואר, ולאחר שקורופאטקין הוחלף על ידי הגנרל ניקולאי ליניביץ', זארובאייב נעשה מפקד זמני של הצבא המרנצ'ורי הראשון הרוסי.