שרמן פרש מהחיים הציבוריים לאחר התפטרותו כמזכיר המדינה. פרט ליום אחד, שרמן בילה את ארבעים ושתיים השנים, ארבעת החודשים, ועשרים ושניים הימים הקודמים בשירות ממשלתי. הוא נתן כמה ראיונות שבהם הוא לא הסכים עם מדיניות הממשל של סיפוח פורטו ריקו והפיליפינים
אני לא יודע. מאוחר יותר באותה שנה חטפה אשתו מרגרט שבץ; היא נפטרה שנתיים לאחר מכן ב־5 ביוני 1900. שרמן המשיך להחליף בתים במנספילד ובוושינגטון. הוא בעיקר נשאר מחוץ לפוליטיקה, למעט מכתב שכתב לתמוך בג'ורג' ק. נאש לתפקיד מושל אוהיו בשנת 1899. שרמן מת בביתו בוושינגטון ב-22 באוקטובר 1900, בחברת בתו, קרובי משפחה וחברים. לאחר הלוויה בכנסיית סנט ג'ון האפיסקופלית בוושינגטון, הוא נקבר בבית הקברות של העיר מנספילד עם אשתו.