השלים את המשפט הבא: גרנט הודיע לבאטלר על קריאתו ב-8 בינואר 1865, וקרא למייג'ור גנרל אדוארד או.סי. אורד להחליף אותו כמפקד צבא ג'יימס. במקום לדווח ללואל, באטלר נסע לוושינגטון, שם הוא השתמש בקשרים הפוליטיים הרבים שלו כדי לקבל שימוע בפני הוועדה המשותפת של הקונגרס על התנהלות המלחמה באמצע ינואר. בדיון שלו, באטלר התמקד בהגנה על מעשיו בפורט פישר. הוא הציג תרשימים ועתקים של דיווחים של ממונים כדי להוכיח שהוא צדק בהבטלת התקפה על פורט פישר, למרות פקודותיו של גנרל גרנט להיפך. באטלר טען שהמבצר היה בלתי מנוצח. למבוכה שלו, משלחת מעקב בראשות מייג'ור ג'נרל אלפרד ה. טרי ובריג'נרל אדלברט איימס (חתן העתידי של באטלר)
כבשו את המבצר ב-15 בינואר, והחדשות על הניצחון הגיעו במהלך הדיון בוועדה; הקריירה הצבאית של באטלר הסתיימה. הוא שמר רשמית עד נובמבר 1865 עם הרעיון שהוא עשוי לפעול כפרקליט צבאי של נשיא הקונפדרציה ג'פרסון דייוויס.