עם פלישת הגרמנים לפולין ותחילתה של מלחמת העולם השנייה נמלט הרב וסרמן יחד עם הישיבה לווילנה, ליטא, ומשם עברה הישיבה לטרוקי הסמוכה. עם השתלטות הסובייטים על ליטא בקיץ של 1940 עברו ראשי הישיבה ותלמידיה לעיירה סימילישוק. עקב התנכלויות הסובייטים נאלץ הרב וסרמן לברוח עם קבוצת תלמידים לעיר קובנה והישיבה נשארה בפיקוחו של הרב דוד רפפורט. תקוותם הייתה להגר לארץ חופשית, ולרב וסרמן תוכננה עלייה לארץ ישראל או לארצות הבריתבהיותו בעיר טראק הסמוכה לעיר וילנא, הרב חשש שתיסגר הישיבה בידי הרוסים ויצטרך להימלט על נפשו, ולפיכך כתב הרב מכתב לאחיו רבי אליהו צדוק: "אולי כדאי לדבר בירושלים עם ראשי ה'אגודה' אודות סרטיפיקטים בעדי ובעד שני בני הצעירים? ואף כי אין בדעתי לעזוב את הישיבה, אבל בכל זאת טוב שיהא לי פת בסל לעת הצורך, כי מי יודע מה יולד יום בעת הנוראה הזאת".לפי עדויות משרידי קובנה, הייתה לרב אפשרות לברוח בצורה בלתי חוקית מקובנה לפני שהגרמנים יפלשו אליה. ברגע האחרון רגלו של בנו, רבי נפתלי בינוש, נשברה, וכתוצאה מכך נגרם עיכוב ביציאה של הרב מקובנה. הוא התכוון לנסות שוב להימלט כעבור ימים אחדים, אך ליטא נכבשה על ידי הגרמנים וחלון ההזדמנויות שלו להינצל נסגר.ביוני 1941 נכבשה קובנה ביידי גרמניה הנאצית. פרטיזנים ליטאים פרו נאציים החלו מיד לבצע פוגרומים נגד יהודים. בתקופה קשה זו מסר הרב וסרמן שיעורים על קידוש השם והורה לתלמידיו ובניו (נפתלי וצבי-יהודה) את נוסח הברכה שיש לומר בעת מסירת הנפש על קידוש השם.
מה קרה לפני שליטא נכבשה על ידי הגרמנים?
הוא התכוון לנסות שוב להימלט