En 1935-1936, le père de Rafi déménage à Lahore, et le reste de la famille suit plus tard.
Il a survécu avec quatre fils - LRB- Saeed Rafi, Khalid Rafi, Hamid Rafi, Shahid Rafi -RRB-, trois filles -LRB- Parveen, Nasreen, Yasmin -RRB- et 18 petits-enfants.