ב-5 בדצמבר 1996, הנשיא ביל קלינטון הודיע על בחירתו של כהן כמזכיר ההגנה, ואמר כי הוא היה "האדם הנכון" כדי לבנות על ההישגים של (מזכיר ההגנה הפוגש) ויליאם פרי "כדי להבטיח את התמיכה הדו-מפלגתית הכוחות המזוינים של אמריקה חייב להיות וברור מגיע". כמזכיר ההגנה, כהן שיחק תפקיד גדול בניהול הפעולות הצבאיות של ארצות הברית בעיראק ובקוסובו, כולל פיטורו של ווסלי קלארק מתפקידו כמפקד עליון בעלות הברית של נאט"ו. שני המבצעים "שועל המדבר" בעיראק ו"כוח בעלות הברית" בקוסובו הושקו חודשים ספורים לאחר שאל-קאעידה ביצעה את פיגועי השגרירות של ארצות הברית
בדאר אס סלאם, טנזניה, ונעירובי, קניה, בשנת 1998.