Rugova was born on 2 December 1944, the son of a shopkeeper who was executed after World War II by the advancing Yugoslav Communists.
Rugova, 2. Dünya Savaşı sonrasında ilerlemekte olan Yugoslav Komünistler tarafından infaz edilen bir esnafın oğlu olarak 2 Aralık 1944'te dünyaya geldi. 1971 yılında Priştine Üniversitesi Felsefe Fakültesinden mezun oldu.