В 1935-1936 годах отец Рафи переехал в Лахор, и остальные члены семьи последовали за ним позже.
У него остались четыре сына (Саид Рафи, Халид Рафи, Хамид Рафи, Шахид Рафи), три дочери (Парвин, Насрин, Ясмин) и 18 внуков.