Teise maailmasõja Nõukogude vastulöögi 1943. aasta alguses koordineeris ja juhtis Vasilevski Punase Armee rünnakuid Don'i ülemosas, Donbassis, Krimmis, Valgevenes ja Balti riikides, lõpetades oma sõja Euroopas Königsbergi vallutamisega aprillis 1945. 1945. aasta juulis nimetati ta Nõukogude vägede ülemjuhiks Kaug-Idas. Ta korraldas Mandžuuria strateegilise rünnaku operatsiooni.
(august 1945) ja nõustus Jaapani alistumisega. Pärast sõda sai temast Nõukogude Liidu kaitseminister aastatel 1949-1953. Kui Nikita Hruštšov sai 1950. aastate keskpaigaks võimsaks, hakkas Vasilevski võimu kaotama ja lõpuks pensionile jääma. Pärast surma maeti ta Kremli müüride nekropoolisse, tunnustamaks tema varasemaid teenistusi ja panuseid oma riigile.