Data dredging
ڈیٹا ڈریجنگ (جسے ڈیٹا اسنوپنگ یا پی-ہیکنگ بھی کہا جاتا ہے) اعداد و شمار میں نمونوں کو تلاش کرنے کے لیے ڈیٹا تجزیہ کا غلط استعمال ہے جسے شماریاتی طور پر اہم کے طور پر پیش کیا جا سکتا ہے، اس طرح ڈرامائی طور پر جھوٹے مثبت کے خطرے کو بڑھاتا اور کم کرتا ہے۔ یہ اعداد و شمار پر بہت سے شماریاتی ٹیسٹ انجام دے کر اور صرف ان لوگوں کی اطلاع دے کر کیا جاتا ہے جو اہم نتائج کے ساتھ واپس آتے ہیں۔ ڈیٹا ڈریجنگ کے عمل میں مکمل طور پر تلاش کرکے ایک ہی ڈیٹا سیٹ کا استعمال کرتے ہوئے متعدد مفروضوں کی جانچ کرنا شامل ہے-شاید متغیرات کے امتزاج کے لیے جو ارتباط ظاہر کر سکتے ہیں، اور شاید ایسے معاملات یا مشاہدات کے گروپوں کے لیے جو اپنے اوسط میں یا کسی دوسرے متغیر کے ذریعے ان کے ٹوٹنے میں فرق ظاہر کرتے ہیں۔ شماریاتی اہمیت کے روایتی ٹیسٹ اس امکان پر مبنی ہوتے ہیں کہ اگر صرف موقع ہی کام کر رہا ہو تو کوئی خاص نتیجہ سامنے آئے گا، اور لازمی طور پر کسی خاص قسم کے غلط نتائج کے کچھ خطرے کو قبول کرتے ہیں (کالعدم مفروضے کو غلط طور پر مسترد کرنا)۔ خطرے کی اس سطح کو اہمیت کہا جاتا ہے۔ جب بڑی تعداد میں ٹیسٹ کیے جاتے ہیں، تو کچھ اس قسم کے غلط نتائج پیدا کرتے ہیں۔ اس لیے تصادفی طور پر منتخب کردہ مفروضوں میں سے 5 فیصد (غلطی سے) 5 فیصد اہمیت کی سطح پر شماریاتی طور پر اہم ہونے کی اطلاع دی جا سکتی ہے، 1 فیصد (غلطی سے) 1 فیصد اہمیت کی سطح پر شماریاتی طور پر اہم ہونے کی اطلاع دی جا سکتی ہے، اور اسی طرح، صرف اتفاق سے۔ جب کافی مفروضوں کی جانچ کی جاتی ہے، تو یہ عملی طور پر یقینی ہوتا ہے کہ کچھ کو شماریاتی طور پر اہم بتایا جائے گا (حالانکہ یہ گمراہ کن ہے)، کیونکہ تقریبا ہر ڈیٹا سیٹ میں کسی بھی حد تک بے ترتیب ہونے کا امکان ہوتا ہے (مثال کے طور پر) کچھ جعلی ارتباط ہوتے ہیں۔ اگر وہ محتاط نہیں ہیں، تو ڈیٹا مائننگ تکنیک استعمال کرنے والے محققین ان نتائج سے آسانی سے گمراہ ہو سکتے ہیں۔ پی-ہیکنگ کی اصطلاح (پی-ویلیوز کے حوالے سے) 2014 کے ایک مقالے میں ڈیٹا کولاڈا بلاگ کے پیچھے تین محققین نے تیار کی تھی، جو سماجی علوم کی تحقیق میں اس طرح کے مسائل کو بے نقاب کرنے پر توجہ مرکوز کر رہا ہے۔ ڈیٹا ڈریجنگ متعدد موازنہ کے مسئلے کو نظر انداز کرنے کی ایک مثال ہے۔ ایک شکل یہ ہے کہ جب ذیلی گروپوں کا موازنہ قارئین کو جانچ پڑتال کی گئی ذیلی گروپ موازنہ کی کل تعداد سے آگاہ کیے بغیر کیا جاتا ہے۔ اعداد و شمار سے نتائج اخذ کرنے کی اقسام روایتی شماریاتی مفروضے کی جانچ کا طریقہ کار جس میں کثرت سے امکان کا استعمال کیا جاتا ہے وہ ایک تحقیقی مفروضہ وضع کرنا ہے، جیسے کہ "اعلی سماجی طبقات کے لوگ زیادہ عرصے تک زندہ رہتے ہیں"، پھر متعلقہ ڈیٹا اکٹھا کرتے ہیں۔ آخر میں، ایک شماریاتی اہمیت کا ٹیسٹ یہ دیکھنے کے لیے کیا جاتا ہے کہ صرف اتفاق سے نتائج کا کتنا امکان ہے (جسے کالعدم مفروضے کے خلاف ٹیسٹنگ بھی کہا جاتا ہے)۔ مناسب شماریاتی تجزیہ میں ایک کلیدی نقطہ ثبوت (ڈیٹا) کے ساتھ ایک مفروضے کی جانچ کرنا ہے جو مفروضے کی تعمیر میں استعمال نہیں ہوا تھا۔ یہ اہم ہے کیونکہ ہر ڈیٹا سیٹ میں مکمل طور پر اتفاق کی وجہ سے کچھ نمونے ہوتے ہیں۔ اگر مفروضے کی جانچ ایک ہی شماریاتی آبادی سے مختلف ڈیٹا سیٹ پر نہیں کی جاتی ہے، تو اس امکان کا اندازہ لگانا ناممکن ہے کہ صرف موقع ہی اس طرح کے نمونے پیدا کرے گا۔ مثال کے طور پر، 2 سروں اور 3 دم کے نتیجے میں ایک سکے کو پانچ بار پلٹانا کسی کو یہ قیاس کرنے پر مجبور کر سکتا ہے کہ سکہ 3/5 سے 2/5 دم کو پسند کرتا ہے۔ اگر اس مفروضے کو موجودہ ڈیٹا سیٹ پر آزمایا جاتا ہے، تو اس کی تصدیق ہوتی ہے، لیکن تصدیق بے معنی ہے۔ مناسب طریقہ کار یہ ہوتا کہ دم کا امکان کیا ہے اس کے بارے میں پہلے سے ایک مفروضہ تشکیل دیا جاتا، اور پھر سکے کو مختلف بار پھینک کر دیکھا جاتا کہ آیا مفروضہ مسترد کیا گیا ہے یا نہیں۔ اگر تین دم اور دو سروں کا مشاہدہ کیا جائے تو ایک اور مفروضہ، کہ دم کا امکان 3/5 ہے، تشکیل پایا جا سکتا ہے، لیکن اس کی جانچ صرف سکے کے ٹاس کے ایک نئے سیٹ سے کی جا سکتی ہے۔ یہ سمجھنا ضروری ہے کہ غلط طریقہ کار کے تحت شماریاتی اہمیت مکمل طور پر جعلی ہے-اہمیت کے ٹیسٹ ڈیٹا ڈریجنگ سے حفاظت نہیں کرتے ہیں۔ غیر نمائندہ اعداد و شمار کے ذریعہ تجویز کردہ مفروضہ فرض کریں کہ لوگوں کے بے ترتیب نمونے کے مطالعے میں 7 اگست کی سالگرہ والے بالکل دو افراد شامل ہیں: مریم اور جان۔ ڈیٹا ڈریجنگ میں مصروف کوئی شخص مریم اور جان کے درمیان اضافی مماثلت تلاش کرنے کی کوشش کر سکتا ہے۔ دونوں کے درمیان سینکڑوں یا ہزاروں ممکنہ مماثلتوں سے گزرنے سے، ہر ایک کے سچ ہونے کا امکان کم ہونے کی وجہ سے، ایک غیر معمولی مماثلت تقریبا یقینی طور پر پائی جا سکتی ہے۔ شاید جان اور میری مطالعہ میں صرف دو لوگ ہیں جنہوں نے کالج میں تین بار نابالغوں کو تبدیل کیا۔ ڈیٹا ڈریجنگ کے ذریعے متعصبانہ ایک مفروضہ یہ ہو سکتا ہے کہ "7 اگست کو پیدا ہونے والے لوگوں میں کالج میں نابالغوں کو دو بار سے زیادہ تبدیل کرنے کا بہت زیادہ امکان ہوتا ہے"۔ سیاق و سباق سے ہٹ کر لیے گئے اعداد و شمار کو اس ارتباط کی مضبوطی سے حمایت کرنے کے طور پر دیکھا جا سکتا ہے، کیونکہ مختلف سالگرہ والے کسی نے بھی کالج میں تین بار نابالغوں کو تبدیل نہیں کیا تھا۔ تاہم، اگر (جیسا کہ امکان ہے) یہ ایک جعلی مفروضہ ہے، تو یہ نتیجہ زیادہ تر ممکنہ طور پر دوبارہ پیش نہیں کیا جائے گا۔ یہ جانچنے کی کوئی بھی کوشش کہ آیا 7 اگست کی سالگرہ والے دوسرے لوگوں میں نابالغوں کو تبدیل کرنے کی اسی طرح کی شرح ہے یا نہیں، غالبا تقریبا فوری طور پر متضاد نتائج حاصل کرے گی۔ سسٹمیٹک بائیس تجزیہ میں ایک منظم غلطی ہے۔ مثال کے طور پر، ڈاکٹروں نے ایچ آئی وی کے زیادہ قلبی خطرے والے مریضوں کو کسی خاص ایچ آئی وی علاج، اباکویر، اور کم خطرہ والے مریضوں کو دیگر دوائیوں کی ہدایت کی، جس سے دیگر علاج کے مقابلے میں اباکویر کی سادہ تشخیص کو روکا گیا۔ ایک تجزیہ جس نے اس تعصب کو درست نہیں کیا اس نے غیر منصفانہ طور پر اباکویر کو سزا دی، کیونکہ اس کے مریضوں کو زیادہ خطرہ تھا اس لیے ان میں سے زیادہ لوگوں کو دل کا دورہ پڑا۔ یہ مسئلہ بہت شدید ہو سکتا ہے، مثال کے طور پر، مشاہداتی مطالعہ میں۔ گمشدہ عوامل، غیر پیمائش شدہ کنفاؤنڈرز، اور فالو اپ میں کمی بھی تعصب کا باعث بن سکتی ہے۔ اہم پی-ویلیو والے پیپرز کا انتخاب کرکے، منفی مطالعات کا انتخاب کیا جاتا ہے، جو کہ اشاعت کا تعصب ہے۔ اسے فائل دراج تعصب کے نام سے بھی جانا جاتا ہے، کیونکہ کم اہم پی-ویلیو کے نتائج فائل دراج میں رہ جاتے ہیں اور کبھی شائع نہیں ہوتے ہیں۔ ایک سے زیادہ ماڈلنگ اعداد و شمار کے علم کے ذریعہ شماریاتی ٹیسٹوں کی کنڈیشنگ کا ایک اور پہلو استعمال کرتے ہوئے دیکھا جا سکتا ہے۔ اس عمل میں ایک اہم قدم یہ فیصلہ کرنا ہے کہ ایک یا زیادہ دیگر متغیرات کی وضاحت کرتے ہوئے رشتے میں کون سے کوویریٹس کو شامل کرنا ہے۔ شماریاتی (مرحلہ وار رجعت دیکھیں) اور ٹھوس تحفظات دونوں ہیں جو مصنفین کو دوسروں کے مقابلے میں ان کے کچھ ماڈلز کی حمایت کرنے پر مجبور کرتے ہیں، اور شماریاتی ٹیسٹوں کا آزادانہ استعمال ہوتا ہے۔ تاہم، اعداد و شمار کی بنیاد پر ایک یا ایک سے زیادہ متغیرات کو وضاحتی تعلق سے خارج کرنے کا مطلب ہے کہ کوئی بھی رشتہ میں برقرار رکھے ہوئے متغیرات پر معیاری شماریاتی طریقہ کار کو درست طریقے سے لاگو نہیں کر سکتا گویا کچھ نہیں ہوا تھا۔ کیس کی نوعیت میں، برقرار رکھے ہوئے متغیرات کو کسی قسم کا ابتدائی ٹیسٹ (ممکنہ طور پر ایک غیر واضح بدیہی) پاس کرنا پڑا ہے کہ خارج شدہ متغیرات ناکام ہوگئے ہیں۔ 1966 میں، سیلوین اور اسٹیورٹ نے ماڈل میں برقرار رکھے گئے متغیرات کا موازنہ ان مچھلیوں سے کیا جو جال سے نہیں گرتیں-اس معنی میں کہ ان کے اثرات جال سے گرنے والوں سے بڑے ہونے کا پابند ہیں۔ یہ نہ صرف برقرار رکھے گئے وضاحتی ماڈل پر بعد کے تمام ٹیسٹوں کی کارکردگی کو تبدیل کرتا ہے، بلکہ یہ تعصب کو بھی متعارف کر سکتا ہے اور تخمینے میں اوسط مربع کی غلطی کو بھی تبدیل کر سکتا ہے۔ موسمیات اور وبائی امراض میں مثالیں موسمیات میں، مفروضوں کو اکثر موجودہ موسم کے اعداد و شمار کا استعمال کرتے ہوئے وضع کیا جاتا ہے اور مستقبل کے موسمی اعداد و شمار کے خلاف جانچ کی جاتی ہے، جو اس بات کو یقینی بناتا ہے کہ، یہاں تک کہ لاشعوری طور پر، مستقبل کے اعداد و شمار مفروضے کی تشکیل پر اثر انداز نہیں ہو سکتے۔ یقینا، اس طرح کے نظم و ضبط کے لیے نئے اعداد و شمار کے آنے کا انتظار کرنا ضروری ہے، تاکہ وضع کردہ نظریہ کی پیش گوئی کی طاقت بمقابلہ کالعدم مفروضے کو ظاہر کیا جا سکے۔ یہ عمل اس بات کو یقینی بناتا ہے کہ کوئی بھی محقق پر پیش گوئی کرنے والے ماڈل کو ہاتھ سے تیار کرنے کا الزام نہیں لگا سکتا، کیونکہ آنے والا موسم ابھی دستیاب نہیں ہے۔ ایک اور مثال کے طور پر، فرض کریں کہ مبصرین نوٹ کرتے ہیں کہ کسی خاص قصبے میں کینسر کا کلسٹر ظاہر ہوتا ہے، لیکن اس میں اس بات کا پختہ مفروضہ نہیں ہے کہ ایسا کیوں ہے۔ تاہم، ان کے پاس قصبے اور آس پاس کے علاقے کے بارے میں آبادیاتی اعداد و شمار کی ایک بڑی مقدار تک رسائی ہے، جس میں سینکڑوں یا ہزاروں مختلف متغیرات کے رقبے کی پیمائش ہوتی ہے، جن میں زیادہ تر غیر متعلقہ ہوتے ہیں۔ یہاں تک کہ اگر یہ تمام متغیرات کینسر کے واقعات کی شرح سے آزاد ہیں، تو اس بات کا زیادہ امکان ہے کہ کم از کم ایک متغیر پورے علاقے میں کینسر کی شرح کے ساتھ نمایاں طور پر مطابقت رکھتا ہے۔ اگرچہ یہ ایک مفروضہ تجویز کر سکتا ہے، لیکن تصدیق کے لیے ایک ہی متغیر کا استعمال کرتے ہوئے لیکن مختلف مقام سے ڈیٹا کے ساتھ مزید جانچ کی ضرورت ہے۔ نوٹ کریں کہ 0.1 کی p-ویلیو سے پتہ چلتا ہے کہ 1 ٪ وقت کا نتیجہ کم از کم اس حد تک اتفاق سے حاصل کیا جائے گا۔ اگر سیکڑوں یا ہزاروں مفروضوں (باہمی طور پر غیر متعلقہ آزاد متغیرات کے ساتھ) کی جانچ کی جائے تو، بہت سے کالعدم مفروضوں کے لیے p-ویلیو 0.1 سے کم حاصل کرنے کا امکان ہے۔ سماجیات میں پی-وکر کو چپٹا کرنے کا ایک اور طریقہ صنف پر قابو پانا ہے۔ سائمن سون اور دیگر کا تجزیہ۔ ال۔ برنز اور آئیونیڈس (2016) کے ایک مطالعے سے یہ ظاہر ہوتا ہے کہ جب برنز اور آئیونیڈس نے صنفی کنٹرول کو ختم کیا تو اس نے بھی رپورٹ شدہ ٹی ویلیو کو 9.29 سے 0.88 تک گرا دیا، جس سے غیر وجہ اثر ظاہر ہوتا ہے جہاں ایک وجہ پہلے ریکارڈ کیا گیا تھا (3)۔ یہ ایک اہم دریافت ہے کیونکہ ٹی-ویلیوز پی-ویلیوز کے الٹا متناسب ہوتی ہیں، جس کا مطلب ہے کہ زیادہ ٹی-ویلیوز (2.8 سے اوپر) کم پی-ویلیوز کی نشاندہی کرتی ہیں۔ جنس پر قابو پانے سے، کوئی مصنوعی طور پر ٹی-ویلیو کو بڑھا سکتا ہے، اس طرح مصنوعی طور پر پی-ویلیو کو بھی کم کر سکتا ہے۔ میڈیا میں ظاہری شکل ایک مثال چاکلیٹ کے وزن میں کمی کا جھوٹا مطالعہ ہے جو صحافی جان بوہنن نے کیا تھا، جس نے گیزموڈو کے ایک مضمون میں عوامی طور پر وضاحت کی تھی کہ یہ مطالعہ جان بوجھ کر ایک سماجی تجربے کے طور پر دھوکہ دہی سے کیا گیا تھا۔ یہ مطالعہ 2015 کے آس پاس بہت سے میڈیا آؤٹ لیٹس میں وسیع پیمانے پر پھیل گیا، بہت سے لوگوں کا خیال تھا کہ ہر روز چاکلیٹ بار کھانے سے ان کا وزن کم ہو جائے گا، ان کے بہتر فیصلے کے خلاف۔ یہ تحقیق انسٹی ٹیوٹ آف ڈائیٹ اینڈ ہیلتھ میں شائع ہوئی۔ بوہنن کے مطابق، پی-ویلیو کو 0.05 سے نیچے لانے کے لیے، جانچ کے وقت 18 مختلف متغیرات کو مدنظر رکھنا اہم تھا۔ علاج اعداد و شمار میں نمونوں کی تلاش جائز ہے، اسی اعداد و شمار پر اہمیت کے شماریاتی ٹیسٹ یا مفروضہ ٹیسٹ کا اطلاق اس وقت تک کریں جب تک کہ کوئی نمونہ سامنے نہ آئے جس سے غلط استعمال کا امکان ہو۔ ڈیٹا ڈریجنگ سے گریز کرتے ہوئے مفروضوں کی تعمیر کا ایک طریقہ بے ترتیب نمونے سے باہر ٹیسٹ کرنا ہے۔ محقق ایک ڈیٹا سیٹ جمع کرتا ہے، پھر تصادفی طور پر اسے دو ذیلی سیٹوں، اے اور بی میں تقسیم کرتا ہے۔ مفروضے بنانے کے لیے صرف ایک ذیلی سیٹ-جیسے ذیلی سیٹ A-کی جانچ کی جاتی ہے۔ ایک بار مفروضہ وضع ہونے کے بعد، اس کی جانچ ذیلی سیٹ B پر کی جانی چاہیے، جو مفروضے کی تعمیر کے لیے استعمال نہیں کیا گیا تھا۔ صرف وہیں جہاں B بھی اس طرح کے مفروضے کی حمایت کرتا ہے، اس بات پر یقین کرنا مناسب ہے کہ مفروضہ درست ہو سکتا ہے۔ (یہ ایک سادہ قسم کی کراس توثیق ہے اور اسے اکثر ٹریننگ ٹیسٹ یا اسپلٹ ہاف توثیق کہا جاتا ہے۔) ڈیٹا ڈریجنگ کا ایک اور علاج یہ ہے کہ مطالعہ کے دوران کیے گئے تمام اہم ٹیسٹوں کی تعداد کو ریکارڈ کیا جائے اور محض اہمیت کے لیے کسی کے معیار (الفا) کو اس نمبر سے تقسیم کیا جائے۔ یہ بونفرونی اصلاح ہے۔ تاہم، یہ ایک بہت ہی قدامت پسند میٹرک ہے۔ 0. 05 کا خاندانی لحاظ سے الفا، جسے 1,000 اہمیت کے ٹیسٹوں کے لیے اس طرح 1,000 سے تقسیم کیا جاتا ہے، 0.00005 کا ایک بہت ہی سخت فی مفروضہ الفا حاصل کرتا ہے۔ تغیرات کے تجزیے میں خاص طور پر مفید طریقے، اور بنیادی افعال پر مشتمل رجعتوں کے لیے بیک وقت اعتماد کے بینڈ کی تعمیر میں شیفی کا طریقہ ہے اور، اگر محقق کے ذہن میں صرف جوڑی کے لحاظ سے موازنہ ہے، تو ٹوکی طریقہ ہے۔ بینجمینی اور ہوچبرگ کی غلط دریافت کی شرح کا استعمال ایک زیادہ نفیس نقطہ نظر ہے جو متعدد مفروضوں کے ٹیسٹوں کے کنٹرول کے لیے ایک مقبول طریقہ بن گیا ہے۔ جب کوئی بھی نقطہ نظر عملی نہیں ہوتا ہے، تو کوئی بھی اعداد و شمار کے تجزیے کے درمیان واضح فرق کر سکتا ہے جو تصدیق کرنے والے ہوتے ہیں اور ایسے تجزیے جو تحقیقی ہوتے ہیں۔ شماریاتی تخمینہ صرف سابقہ کے لیے موزوں ہے۔ بالآخر، کسی ٹیسٹ کی شماریاتی اہمیت اور کسی دریافت کا شماریاتی اعتماد ڈیٹا کی مشترکہ خصوصیات اور ڈیٹا کی جانچ کے لیے استعمال ہونے والا طریقہ ہے۔ اس طرح، اگر کوئی یہ کہتا ہے کہ کسی خاص واقعہ کا امکان 20 میں سے 19 بار 20 ٪ ± 2 ٪ ہے، تو اس کا مطلب یہ ہے کہ اگر واقعہ کے امکان کا تخمینہ اسی طریقہ سے لگایا جاتا ہے جو 20 ٪ تخمینہ حاصل کرنے کے لیے استعمال کیا جاتا ہے، تو نتیجہ 18 ٪ اور 22 ٪ کے درمیان ہوتا ہے جس میں امکان 0.95 ہوتا ہے۔ اعداد و شمار کی اہمیت کا کوئی دعوی صرف دیکھ کر نہیں کیا جا سکتا، بغیر اعداد و شمار کا اندازہ لگانے کے لیے استعمال ہونے والے طریقہ کار کو مدنظر رکھے۔ تعلیمی جریدے تیزی سے رجسٹرڈ رپورٹ فارمیٹ کی طرف منتقل ہو رہے ہیں، جس کا مقصد ڈیٹا ڈریجنگ جیسے بہت سنگین مسائل کا مقابلہ کرنا ہے اور جس نے تھیوری ٹیسٹنگ ریسرچ کو بہت ناقابل اعتماد بنا دیا ہے۔ مثال کے طور پر، نیچر ہیومن بیہویئر نے رجسٹرڈ رپورٹ فارمیٹ کو اپنایا ہے، کیونکہ یہ "تحقیق کے نتائج سے ان سوالات پر زور دیتا ہے جو تحقیق کی رہنمائی کرتے ہیں اور ان کے جوابات کے لیے استعمال ہونے والے طریقے"۔ یوروپی جرنل آف پرسنالٹی اس فارمیٹ کی وضاحت اس طرح کرتا ہے: "ایک رجسٹرڈ رپورٹ میں، مصنفین ایک مطالعاتی تجویز تیار کرتے ہیں جس میں نظریاتی اور تجرباتی پس منظر، تحقیقی سوالات/مفروضے، اور پائلٹ ڈیٹا (اگر دستیاب ہو) شامل ہوتے ہیں۔ جمع کرانے کے بعد، اس تجویز کا ڈیٹا اکٹھا کرنے سے پہلے جائزہ لیا جائے گا، اور اگر اسے قبول کر لیا جاتا ہے، تو اس ہم مرتبہ جائزہ لینے کے طریقہ کار کے نتیجے میں مقالہ شائع کیا جائے گا، قطع نظر مطالعہ کے نتائج سے۔ طریقوں اور نتائج کو عوامی طور پر بھی دستیاب کیا جا سکتا ہے، جیسا کہ اوپن سائنس اپروچ میں ہوتا ہے، جس سے ڈیٹا ڈریجنگ کا ہونا مزید مشکل ہو جاتا ہے۔ مزید پڑھیں بیرونی لنکس ڈیٹا-سنوپنگ تعصب پر ایک کتابچہ جعلی ارتباط، ناقابل فہم ارتباط کی مثالوں کی ایک گیلری، "نیوروسکیپٹک" کے ذریعہ پی ہیکنگ کی وضاحت کرنے والا ویڈیو، ڈسکور میگزین میں ایک بلاگر مرحلہ وار سے دور قدم، جرنل آف بگ ڈیٹا میں ایک مضمون جس میں مرحلہ وار رجعت پر تنقید کی گئی ہے۔ تعصب علمی تعصب سائنسی بدانتظامی ڈیٹا مائننگ تجربات کا ڈیزائن اعداد و شمار کے غلط استعمال کی جانچ کرنے والے شماریاتی مفروضے اخلاقی طور پر متنازعہ تحقیقی طریقوں