Певица классической музыки и музыки Манна Дей, которая также была современницей Рафи, считает Рафи «лучшим певцом из всех». Он сказал: «Мы с Рафи могли петь все, и он был таким джентльменом.
У него остались четыре сына (Саид Рафи, Халид Рафи, Хамид Рафи, Шахид Рафи), три дочери (Парвин, Насрин, Ясмин) и 18 внуков.