Stallman sündis 16. märtsil 1953 New Yorgis, juudi päritolu perekonnas. Tema vanemad on Alice Lippman, kooliõpetaja ja Daniel Stallman, trükipressimüüja. Stallmanil oli oma vanematega keeruline suhe, sest ta isa oli joomise harjumus ja sõnaliselt kuritarvitas oma kasuema. Hiljem hakkas ta oma vanemaid kirjeldama kui "tiraneid". Ta oli huvitatud arvutitest noorelt; kui Stallman oli teismeline, luges ta IBM 7094 manuaale. 1967-1969 osales Stallman Columbia Ülikooli laupäevaprogrammis keskkooli õpilastele. Stallman oli ka vabatahtlik laborispetsialist Rockefeller'i bioloogia osakonnas. Kuigi ta oli huvitatud matemaatika ja füüsika õpetamisest, arvas ta, et Rockeler'i professor mõtles, et ta veedab tegelikku aega kui bioloog.
Bioloogia osakond Rockefeller Ülikoolis