הוא הצטרף לצבא האיחוד כטוראי בחברת "איי" של חיל הרגלים המתנדב ה-49 בניו יורק ביוני 1861, והגיע לדרגת סמל. עם צבא הפוטומק, יחידתו השתתפה במלחמות שכללו את יונגס מיל, יורקטאון, וויליאמסבורג, מכניקסוויל,
פייר אוקס, גיינס מיל, תחנת סאבאג', מאלברן היל, בול רן השני, סאות' מאונטיין, אנטיטאם, פרדריקסבורג, וויליאמספורט, גטיסבורג, מיין רן, וילדרנס, קולד הארבור, פטרסבורג ואחרים. וולש נלקח בשבי במהלך מבצעים נגד מסילת הרכבת וולדן זמן קצר לפני תום תקופת הגיוס שלו והיה אסיר בבל אייל, בכלא ליבי, אנדרסוןוויל, סוואנה, טירת פינקני ופלורנס סטוקייד, לפני שהוחלף וחזר לאנפוליס, אינדיאנה, שם שוחרר בכבוד ב-5 במאי 1865. בשלב מסוים לאחר מכן, הוא בילה שמונה שנים בעבודה ב"וויסקונסין סטייט ג'ורנל" במדיסון.