قال ابن إسحاق : وكان الخطاب بن نفيل عمه وأخوه لأمه يعاتبه ويؤذيه حتى أخرجه إلى أعلى مكة ، فنزل حراء مقابل مكة ، فإذا دخل مكة سرا آذوه وأخرجوه، كراهية أن يفسد عليهم دينهم، وأن يتابعه أحد، ثم خرج يطلب دين إبراهيم، فجال الشام والجزيرة.
قَالَ ابْنُ إِسْحَاقَ : وَكَانَ الْخَطَّابُ بْنُ نُفَيْلٍ عَمُّهُ وَأَخُوهُ لِأُمِّهِ يُعَاتِبُهُ وَيُؤْذِيهِ حَتَّى أَخْرَجَهُ إِلَى أَعْلَى مَكَّةَ ، فَنَزَلَ حِرَاءَ مُقَابِلَ مَكَّةَ ، فَإِذَا دَخَلَ مَكَّةَ سِرًّا آذَوْهُ وَأَخْرَجُوهُ، كَرَاهِيَةَ أَنْ يُفْسِدَ عَلَيْهِمْ دِينَهُمْ، وَأَنْ يُتَابِعَهُ أَحَدٌ، ثُمَّ خَرَجَ يَطْلُبُ دِينَ إِبْرَاهِيمَ، فَجَالَ الشَّامَ وَالْجَزِيرَةَ.