Раффлз родился на корабле «Энн» у побережья Порт-Моранта, Ямайка, в семье капитана Бенджамина Раффлза (ум. Июнь 1797 г.) и Энн Раффлз (урожденная Лайд).
Раффлз родился на корабле Энн у капитана Бенджамина Раффлза (отец) и Энн Раффлз (мать).