ב-22 באוגוסט 1861, רייס הצטרף לחיל הרגלים ה-14 של מסצ'וסטס וקיבל תואר קפטן. הוא הועבר בקרוב לגדוד חיל הרגלים ה-19 של מסצ'וסטס כדי לפקד על פלוגה F. עם היחידה הזאת הוא היה מעורב בקרב במלחמת האזרחים של: בלף של כדור, המצור על יורקטאון, פייר אוקס, תחנת סאבאג', גלנדייל ומלברן היל. הוא הועלה לדרגת מייג'ור ב-7 בספטמבר 1862 ונלחם באנטיאטם מאוחר יותר בספטמבר 1862 ובקרב פרדריקסבורג ב-11-13 בדצמבר 1862. על פעולותיו בקרב גטיסברג בהדחתו של פיקט, הוענק לו מדליית הכבוד בשנת 1891. הועמד לסגן קולונל ב-28 בפברואר 1864, הוא פיקד על הגדוד שלו במערכה רפידן, הקרבות של תחנת בריסטו, פורד של בלקבורן, כבישי קרס רובינסון, ובמילת המכרה
אני לא יודע. הוא פיקד על החטיבה ה-19 בקרב המדבר ב-5 למאי 1864 ובקרב לורל היל ב-8 במאי 1864. הוא נפצע ונלכד במתקפת בית המשפט של ספוטסילבניה, ב-12 במאי 1864. בזמן שהועבר כאסיר ב-23 במאי, הוא נמלט על ידי חיתוך דלת של קרון מטען וקפוץ ממנו בזמן הרכבת נעה במהירות 15 מייל לשעה. הוא הגיע לקווי האיחוד, ליד נהר אוהיו, עשרים ושלוש ימים לאחר מכן. הוא הועלה לדרגת קולונל ב-28 ביולי 1864.