Sündinud Ukraina juudi perekonnas, mis oli tollal osa Vene impeeriumist, õppis Grossman Moskva Riiklikus Ülikoolis keemiatehnikuks, teenides õpilane hooletu olemuse tõttu hüüdnime "Vasya-khimik" ("Vasya keemik"). Pärast kooli lõpetamist võttis ta tööle Stalino (nüüd Donetski) Donets'i basseinis. 1930. aastatel vahetas ta karjääri. Ta hakkas kirjutama täistööajaga ja avaldas mitmeid lühijutte ja mitut romaani. Teise maailmasõja puhkemisel oli ta Punaarmee ajalehe "Krasnaya Zvezda" sõjakorrespondendina tööle võetud; ta kirjutas Moskva, Stalingradi, Kurski lahingute kohta.
, ja Berliini. Grossmani silmaringelise ettekande kohaselt oli Treblinka avastamise järel natside hävituslaagri kohta üks esimesi ettekandeid, mis reporterite poolt natside surmalaagrist avaldati.