ראלסטון הפך לסגן יו"ר המטה המשותף ב-1996. הוא היה המועדף להיות יו"ר הצוות המשותף ב-1997, אך בעקבות גילויים של רומן סודי הוא נשאר סגן יו"ר עד מאי 2000. לאחר מכן הוא הפך למפקד בעלות הברית העליונה של ארגון הברית הצפונית האטלנטית (NATO) באירופה עד ינואר 2003 כאשר הוא פרש. ביל קלינטון כותב בזיכרונותיו "חיי" כי רלסטון שימש כדי לפתור מצב דביק פוטנציאלי עם פקיסטן, שבו ארה"ב תשתמש במרחב האווירי הפקיסטני כדי לפגוע בפגישת ארגון אל-קאעידה באפגניסטן בעקבות פיגועי השגרירות האמריקנית.
בקניה וטנזניה. היה דאגה של ארה"ב שהשירותים המודיעיניים של פקיסטן יודיעו על המטרות, או גרוע מכך, יחשבו שהטילים מעל פקיסטן הגיעו מהודו, ובכך עלולים להפעיל סכסוך גרעיני בתת היבשת ההודית. כפי שקלנטון כותב בעמוד 799 של "חיי", "החלטנו לשלוח את סגן יו"ר המטה המשותף, גנרל ג'ו רלסטון, לארוחת ערב עם המפקד הצבאי הפקיסטני העליון בזמן שתוכננו המתקפות. רלסטון היה אומר לו (הגנרל הפקיסטני) מה קורה כמה דקות לפני הטילים שלנו פלשו למרחב האווירי הפקיסטני, מאוחר מדי כדי להזהיר את הטליבאן או אל-קאעידה, אבל בזמן כדי למנוע מהם להוריד או לעורר התקפה נגדית על הודו. "