Data dredging
डेटा ड्रेजिंग (जिसे डेटा स्नूपिंग या पी-हैकिंग के रूप में भी जाना जाता है) डेटा में पैटर्न खोजने के लिए डेटा विश्लेषण का दुरुपयोग है जिसे सांख्यिकीय रूप से महत्वपूर्ण के रूप में प्रस्तुत किया जा सकता है, इस प्रकार नाटकीय रूप से गलत सकारात्मक के जोखिम को बढ़ाता और कम करता है। यह डेटा पर कई सांख्यिकीय परीक्षण करके और केवल उन लोगों की रिपोर्ट करके किया जाता है जो महत्वपूर्ण परिणामों के साथ वापस आते हैं। डेटा ड्रेजिंग की प्रक्रिया में पूरी तरह से खोज करके एकल डेटा सेट का उपयोग करके कई परिकल्पनाओं का परीक्षण करना शामिल है-शायद उन चरों के संयोजन के लिए जो एक सहसंबंध दिखा सकते हैं, और शायद उन मामलों या टिप्पणियों के समूहों के लिए जो अपने माध्य में या किसी अन्य चर द्वारा उनके टूटने में अंतर दिखाते हैं। सांख्यिकीय महत्व के पारंपरिक परीक्षण इस संभावना पर आधारित होते हैं कि एक विशेष परिणाम उत्पन्न होगा यदि केवल मौका काम कर रहा था, और आवश्यक रूप से एक निश्चित प्रकार के गलत निष्कर्षों के कुछ जोखिम को स्वीकार करते हैं (शून्य परिकल्पना की गलत अस्वीकृति)। जोखिम के इस स्तर को महत्व कहा जाता है। जब बड़ी संख्या में परीक्षण किए जाते हैं, तो कुछ इस प्रकार के गलत परिणाम देते हैं; इसलिए यादृच्छिक रूप से चुनी गई परिकल्पनाओं में से 5 प्रतिशत को (गलत तरीके से) 5 प्रतिशत महत्व स्तर पर सांख्यिकीय रूप से महत्वपूर्ण बताया जा सकता है, 1 प्रतिशत को (गलत तरीके से) 1 प्रतिशत महत्व स्तर पर सांख्यिकीय रूप से महत्वपूर्ण बताया जा सकता है, और इसी तरह, अकेले संयोग से। जब पर्याप्त परिकल्पनाओं का परीक्षण किया जाता है, तो यह लगभग निश्चित है कि कुछ को सांख्यिकीय रूप से महत्वपूर्ण बताया जाएगा (भले ही यह भ्रामक हो), क्योंकि लगभग हर डेटा सेट में किसी भी स्तर की यादृच्छिकता के साथ कुछ नकली सहसंबंध होने की संभावना है (उदाहरण के लिए)। यदि वे सतर्क नहीं हैं, तो डेटा माइनिंग तकनीकों का उपयोग करने वाले शोधकर्ता इन परिणामों से आसानी से गुमराह हो सकते हैं। पी-हैकिंग शब्द (पी-मानों के संदर्भ में) ब्लॉग डेटा कोलाडा के पीछे तीन शोधकर्ताओं द्वारा 2014 के एक पेपर में गढ़ा गया था, जो सामाजिक विज्ञान अनुसंधान में ऐसी समस्याओं को उजागर करने पर ध्यान केंद्रित कर रहा है। डेटा ड्रेजिंग कई तुलनाओं की समस्या की उपेक्षा करने का एक उदाहरण है। एक रूप यह है कि जब उपसमूहों की तुलना पाठकों को जांच की गई उपसमूह तुलनाओं की कुल संख्या के बारे में सचेत किए बिना की जाती है। डेटा से निष्कर्ष निकालने के प्रकार नियमित संभावना का उपयोग करते हुए पारंपरिक सांख्यिकीय परिकल्पना परीक्षण प्रक्रिया एक शोध परिकल्पना तैयार करना है, जैसे कि "उच्च सामाजिक वर्गों के लोग लंबे समय तक जीवित रहते हैं", फिर प्रासंगिक डेटा एकत्र करते हैं। अंत में, एक सांख्यिकीय महत्व परीक्षण यह देखने के लिए किया जाता है कि परिणाम अकेले संयोग से कितने संभावित हैं (जिसे शून्य परिकल्पना के खिलाफ परीक्षण भी कहा जाता है)। उचित सांख्यिकीय विश्लेषण में एक प्रमुख बिंदु सबूत (डेटा) के साथ एक परिकल्पना का परीक्षण करना है जिसका उपयोग परिकल्पना के निर्माण में नहीं किया गया था। यह महत्वपूर्ण है क्योंकि प्रत्येक डेटा सेट में पूरी तरह से संयोग के कारण कुछ पैटर्न होते हैं। यदि परिकल्पना का परीक्षण एक ही सांख्यिकीय आबादी से अलग डेटा सेट पर नहीं किया जाता है, तो इस संभावना का आकलन करना असंभव है कि अकेले मौका इस तरह के पैटर्न का उत्पादन करेगा। उदाहरण के लिए, 2 सिर और 3 पूंछ के परिणाम के साथ एक सिक्के को पांच बार पलटने से यह अनुमान लगाया जा सकता है कि सिक्का 3/5 से 2/5 तक पूंछ का पक्ष लेता है। यदि इस परिकल्पना का परीक्षण मौजूदा डेटा सेट पर किया जाता है, तो इसकी पुष्टि की जाती है, लेकिन पुष्टि अर्थहीन है। उचित प्रक्रिया यह होती कि पहले से ही एक परिकल्पना तैयार की जाती कि पूंछ की संभावना क्या है, और फिर यह देखने के लिए कि परिकल्पना को अस्वीकार कर दिया गया है या नहीं, सिक्के को कई बार फेंक दिया जाता। यदि तीन पूंछ और दो सिर देखे जाते हैं, तो एक और परिकल्पना, कि पूंछ की संभावना 3/5 है, बनाई जा सकती है, लेकिन इसका परीक्षण केवल सिक्के के उछालने के एक नए सेट द्वारा किया जा सकता है। यह समझना महत्वपूर्ण है कि गलत प्रक्रिया के तहत सांख्यिकीय महत्व पूरी तरह से नकली है-महत्व परीक्षण डेटा ड्रेजिंग से सुरक्षा नहीं करते हैं। गैर-प्रतिनिधि डेटा द्वारा सुझाई गई परिकल्पना मान लीजिए कि लोगों के यादृच्छिक नमूने के अध्ययन में 7 अगस्त के जन्मदिन वाले ठीक दो लोग शामिल हैंः मैरी और जॉन। डेटा ड्रेजिंग में लगा कोई व्यक्ति मैरी और जॉन के बीच अतिरिक्त समानताएं खोजने की कोशिश कर सकता है। दोनों के बीच सैकड़ों या हजारों संभावित समानताओं से गुजरने से, जिनमें से प्रत्येक के सच होने की संभावना कम है, एक असामान्य समानता लगभग निश्चित रूप से पाई जा सकती है। शायद जॉन और मैरी अध्ययन में केवल दो लोग हैं जिन्होंने कॉलेज में तीन बार नाबालिगों को बदल दिया। डेटा ड्रेजिंग द्वारा पक्षपाती एक परिकल्पना यह हो सकती है कि "7 अगस्त को पैदा हुए लोगों में कॉलेज में दो बार से अधिक नाबालिगों को बदलने की बहुत अधिक संभावना होती है।" संदर्भ से बाहर लिए गए आंकड़ों को उस सहसंबंध का दृढ़ता से समर्थन करने के रूप में देखा जा सकता है, क्योंकि एक अलग जन्मदिन वाले किसी भी व्यक्ति ने कॉलेज में तीन बार नाबालिगों को नहीं बदला था। हालाँकि, यदि (जैसा कि संभावना है) यह एक नकली परिकल्पना है, तो यह परिणाम सबसे अधिक संभावना है कि पुनः उत्पन्न नहीं किया जा सकता है; यह जांचने का कोई भी प्रयास कि क्या 7 अगस्त के जन्मदिन वाले अन्य लोगों में नाबालिगों को बदलने की समान दर है, संभवतः लगभग तुरंत विरोधाभासी परिणाम प्राप्त करेगा। सिस्टेमेटिक बायस बायस विश्लेषण में एक व्यवस्थित त्रुटि है। उदाहरण के लिए, डॉक्टरों ने उच्च हृदय जोखिम वाले एचआईवी रोगियों को एक विशेष एचआईवी उपचार, एबाकाविर और कम जोखिम वाले रोगियों को अन्य दवाओं के लिए निर्देशित किया, जिससे अन्य उपचारों की तुलना में एबाकाविर के सरल मूल्यांकन को रोका जा सके। एक विश्लेषण जो इस पूर्वाग्रह के लिए सही नहीं था, ने एबाकाविर को अनुचित रूप से दंडित किया, क्योंकि इसके रोगियों को अधिक जोखिम था इसलिए उनमें से अधिक को दिल का दौरा पड़ा था। यह समस्या बहुत गंभीर हो सकती है, उदाहरण के लिए, अवलोकन अध्ययन में। अनुपस्थित कारक, अपरिमित कन्फाउंडर्स, और अनुवर्ती कार्रवाई में कमी भी पूर्वाग्रह का कारण बन सकते हैं। महत्वपूर्ण पी-मान वाले पत्रों का चयन करके, नकारात्मक अध्ययनों का चयन किया जाता है, जो प्रकाशन पूर्वाग्रह है। इसे फाइल ड्रॉअर बायस के रूप में भी जाना जाता है, क्योंकि कम महत्वपूर्ण पी-मान के परिणाम फाइल ड्रॉअर में छोड़ दिए जाते हैं और कभी प्रकाशित नहीं होते हैं। मल्टीपल मॉडलिंग डेटा के ज्ञान द्वारा सांख्यिकीय परीक्षणों की कंडीशनिंग का एक अन्य पहलू का उपयोग करते समय देखा जा सकता है इस प्रक्रिया में एक महत्वपूर्ण कदम यह तय करना है कि एक या एक से अधिक अन्य चरों को समझाते हुए किसी संबंध में कौन से सहपरिवर्तन को शामिल करना है। सांख्यिकीय (चरणबद्ध प्रतिगमन देखें) और मूल विचार दोनों हैं जो लेखकों को दूसरों पर अपने कुछ मॉडलों का पक्ष लेने के लिए प्रेरित करते हैं, और सांख्यिकीय परीक्षणों का एक उदार उपयोग है। हालांकि, डेटा के आधार पर एक या एक से अधिक चर को व्याख्यात्मक संबंध से हटाने का मतलब है कि कोई भी संबंध में बनाए गए चर पर मानक सांख्यिकीय प्रक्रियाओं को वैध रूप से लागू नहीं कर सकता है जैसे कि कुछ भी नहीं हुआ था। मामले की प्रकृति में, बनाए गए चर को किसी प्रकार के प्रारंभिक परीक्षण (संभवतः एक अस्पष्ट सहज ज्ञान युक्त) में उत्तीर्ण होना पड़ा है कि त्याग किए गए चर विफल हो गए। 1966 में, सेल्विन और स्टुअर्ट ने मॉडल में रखे गए चर की तुलना उन मछलियों से की जो जाल के माध्यम से नहीं गिरती हैं-इस अर्थ में कि उनके प्रभाव उन लोगों की तुलना में बड़े होने के लिए बाध्य हैं जो जाल के माध्यम से गिरते हैं। यह न केवल बनाए गए व्याख्यात्मक मॉडल पर बाद के सभी परीक्षणों के प्रदर्शन को बदल देता है, बल्कि यह पूर्वाग्रह भी पेश कर सकता है और अनुमान में औसत वर्ग त्रुटि को बदल सकता है। उदाहरण मौसम विज्ञान और महामारी विज्ञान में, परिकल्पनाओं को अक्सर वर्तमान तक के मौसम डेटा का उपयोग करके तैयार किया जाता है और भविष्य के मौसम डेटा के खिलाफ परीक्षण किया जाता है, जो यह सुनिश्चित करता है कि, अवचेतन रूप से भी, भविष्य के डेटा परिकल्पना के निर्माण को प्रभावित नहीं कर सकते हैं। बेशक, इस तरह के एक अनुशासन के लिए तैयार किए गए सिद्धांत की भविष्यसूचक शक्ति बनाम शून्य परिकल्पना को दिखाने के लिए नए डेटा के आने की प्रतीक्षा करने की आवश्यकता होती है। यह प्रक्रिया यह सुनिश्चित करती है कि कोई भी शोधकर्ता पर भविष्यसूचक मॉडल को हाथ से तैयार करने का आरोप नहीं लगा सकता है, क्योंकि आगामी मौसम अभी तक उपलब्ध नहीं है। एक अन्य उदाहरण के रूप में, मान लीजिए कि पर्यवेक्षकों ने ध्यान दिया है कि एक विशेष शहर में एक कैंसर समूह प्रतीत होता है, लेकिन ऐसा क्यों है, इसकी एक ठोस परिकल्पना का अभाव है। हालांकि, उनके पास शहर और आसपास के क्षेत्र के बारे में बड़ी मात्रा में जनसांख्यिकीय डेटा तक पहुंच है, जिसमें सैकड़ों या हजारों विभिन्न चरों के क्षेत्र के लिए माप शामिल हैं, जो ज्यादातर असंबंधित हैं। भले ही ये सभी चर कैंसर की घटना दर से स्वतंत्र हैं, यह अत्यधिक संभावना है कि कम से कम एक चर पूरे क्षेत्र में कैंसर की दर के साथ महत्वपूर्ण रूप से संबंधित है। हालांकि यह एक परिकल्पना का सुझाव दे सकता है, पुष्टि करने के लिए एक ही चर का उपयोग करके लेकिन एक अलग स्थान से डेटा के साथ आगे के परीक्षण की आवश्यकता है। ध्यान दें कि 0.01 के पी-मान से पता चलता है कि 1 प्रतिशत समय का परिणाम कम से कम वह चरम संयोग से प्राप्त किया जाएगा; यदि सैकड़ों या हजारों परिकल्पनाओं (पारस्परिक रूप से असंबद्ध स्वतंत्र चर के साथ) का परीक्षण किया जाता है, तो कई शून्य परिकल्पनाओं के लिए 0.01 से कम पी-मान प्राप्त करने की संभावना है। समाजशास्त्र में पी-वक्र को समतल करने का एक और तरीका लिंग को नियंत्रित करना है। साइमनसोहन एट द्वारा एक विश्लेषण। अल। ब्रन्स और आयोनिडिस (2016) द्वारा किए गए एक अध्ययन से यह पता चलता है कि जब ब्रन्स और आयोनिडिस ने लिंग नियंत्रण को छोड़ दिया, तो यह भी रिपोर्ट किए गए टी-मान को 9.29 से घटाकर 0.88 कर दिया, जो एक गैर-कारण प्रभाव को दर्शाता है जहां एक कारण को पहले दर्ज किया गया था (3)। यह एक महत्वपूर्ण खोज है क्योंकि टी-मान पी-मानों के व्युत्क्रमानुपाती होते हैं, जिसका अर्थ है कि उच्च टी-मान (2.8 से ऊपर) कम पी-मानों को इंगित करते हैं। लिंग को नियंत्रित करके, कोई भी कृत्रिम रूप से टी-मान को बढ़ा सकता है, इस प्रकार कृत्रिम रूप से पी-मान को भी कम कर सकता है। मीडिया में उपस्थिति एक उदाहरण पत्रकार जॉन बोहनन द्वारा किया गया चॉकलेट वजन घटाने का झूठा अध्ययन है, जिन्होंने एक गिज़मोडो लेख में सार्वजनिक रूप से समझाया कि अध्ययन जानबूझकर एक सामाजिक प्रयोग के रूप में धोखाधड़ी से किया गया था। यह अध्ययन 2015 के आसपास कई मीडिया आउटलेट्स में व्यापक था, कई लोगों का मानना था कि हर दिन एक चॉकलेट बार खाने से उनका वजन कम हो जाएगा, उनके बेहतर निर्णय के खिलाफ। यह अध्ययन इंस्टीट्यूट ऑफ डाइट एंड हेल्थ में प्रकाशित हुआ था। बोहनन के अनुसार, पी-मान को 0.05 से कम करने के लिए, परीक्षण के दौरान 18 अलग-अलग चरों को ध्यान में रखना महत्वपूर्ण था। उपचार जबकि डेटा में पैटर्न की खोज वैध है, उसी डेटा पर महत्व या परिकल्पना परीक्षण के सांख्यिकीय परीक्षण को तब तक लागू करना जब तक कि कोई पैटर्न दुरुपयोग के लिए प्रवण न हो। डेटा ड्रेजिंग से बचने के दौरान परिकल्पनाओं का निर्माण करने का एक तरीका यादृच्छिक रूप से नमूने से बाहर परीक्षण करना है। शोधकर्ता एक डेटा सेट एकत्र करता है, फिर यादृच्छिक रूप से इसे दो उपसमूहों, ए और बी में विभाजित करता है। परिकल्पना बनाने के लिए केवल एक उपसमुच्चय-मान लीजिए, उपसमुच्चय ए-की जांच की जाती है। एक बार एक परिकल्पना तैयार हो जाने के बाद, इसका परीक्षण सबसेट बी पर किया जाना चाहिए, जिसका उपयोग परिकल्पना के निर्माण के लिए नहीं किया गया था। केवल जहाँ बी भी ऐसी परिकल्पना का समर्थन करता है, वहाँ यह विश्वास करना उचित है कि परिकल्पना मान्य हो सकती है। (यह एक सरल प्रकार का क्रॉस-वैलिडेशन है और इसे अक्सर ट्रेनिंग-टेस्ट या स्प्लिट-हाफ वैलिडेशन कहा जाता है। डेटा ड्रेजिंग के लिए एक अन्य उपाय अध्ययन के दौरान किए गए सभी महत्वपूर्ण परीक्षणों की संख्या को दर्ज करना है और बस इस संख्या से महत्व (अल्फा) के लिए अपने मानदंड को विभाजित करना है; यह बोनफेरोनी सुधार है। हालाँकि, यह एक बहुत ही रूढ़िवादी मीट्रिक है। 0. 05 का परिवार-वार अल्फा, 1,000 महत्व परीक्षणों के लिए इस तरह से 1,000 से विभाजित, 0.00005 का एक बहुत ही कठोर प्रति-परिकल्पना अल्फा देता है। भिन्नता के विश्लेषण में विशेष रूप से उपयोगी तरीके, और आधार कार्यों को शामिल करने वाले प्रतिगमन के लिए एक साथ विश्वास बैंड के निर्माण में शेफ की विधि है और, यदि शोधकर्ता के दिमाग में केवल जोड़ीदार तुलना है, तो टुकी विधि है। बेंजामिनी और होचबर्ग की गलत खोज दर का उपयोग एक अधिक परिष्कृत दृष्टिकोण है जो कई परिकल्पना परीक्षणों के नियंत्रण के लिए एक लोकप्रिय विधि बन गया है। जब कोई भी दृष्टिकोण व्यावहारिक नहीं होता है, तो कोई भी पुष्टि करने वाले डेटा विश्लेषण और खोज करने वाले विश्लेषणों के बीच स्पष्ट अंतर कर सकता है। सांख्यिकीय अनुमान केवल पूर्व के लिए उपयुक्त है। अंततः, एक परीक्षण का सांख्यिकीय महत्व और एक निष्कर्ष का सांख्यिकीय विश्वास डेटा के संयुक्त गुण और डेटा की जांच करने के लिए उपयोग की जाने वाली विधि हैं। इस प्रकार, यदि कोई कहता है कि किसी निश्चित घटना की 20 में से 19 बार 20 प्रतिशत ± 2 प्रतिशत की संभावना है, तो इसका मतलब है कि यदि घटना की संभावना का अनुमान 20 प्रतिशत अनुमान प्राप्त करने के लिए उपयोग की जाने वाली उसी विधि से लगाया जाता है, तो परिणाम 18 प्रतिशत और 22 प्रतिशत के बीच होता है। आंकड़ों का आकलन करने के लिए उपयोग की जाने वाली विधि को ध्यान में रखे बिना केवल देखने से सांख्यिकीय महत्व का कोई दावा नहीं किया जा सकता है। अकादमिक पत्रिकाएं तेजी से पंजीकृत रिपोर्ट प्रारूप में स्थानांतरित हो रही हैं, जिसका उद्देश्य डेटा ड्रेजिंग जैसे बहुत गंभीर मुद्दों का मुकाबला करना है और जिन्होंने सिद्धांत-परीक्षण अनुसंधान को बहुत अविश्वसनीय बना दिया है। उदाहरण के लिए, नेचर ह्यूमन बिहेवियर ने पंजीकृत रिपोर्ट प्रारूप को अपनाया है, क्योंकि यह "अनुसंधान के परिणामों से उन प्रश्नों पर जोर देता है जो अनुसंधान और उनके उत्तर देने के लिए उपयोग की जाने वाली विधियों का मार्गदर्शन करते हैं।" यूरोपीय जर्नल ऑफ पर्सनैलिटी इस प्रारूप को इस प्रकार परिभाषित करता हैः "एक पंजीकृत रिपोर्ट में, लेखक एक अध्ययन प्रस्ताव बनाते हैं जिसमें सैद्धांतिक और अनुभवजन्य पृष्ठभूमि, शोध प्रश्न/परिकल्पना और प्रायोगिक डेटा (यदि उपलब्ध हो) शामिल होते हैं। जमा करने पर, इस प्रस्ताव की डेटा संग्रह से पहले समीक्षा की जाएगी, और यदि स्वीकार किया जाता है, तो अध्ययन के परिणामों की परवाह किए बिना, इस सहकर्मी-समीक्षा प्रक्रिया के परिणामस्वरूप पेपर प्रकाशित किया जाएगा। विधियों और परिणामों को सार्वजनिक रूप से भी उपलब्ध कराया जा सकता है, जैसा कि मुक्त विज्ञान दृष्टिकोण में होता है, जिससे डेटा ड्रेजिंग करना और भी कठिन हो जाता है। यह भी देखें फ़ोर्किंग पथों का उद्यान बहुत सारे शोधकर्ताओं का फेलासाइड प्रभाव डिग्री ऑफ़ फ्रीडम नोट्स संदर्भ आगे पढ़ने के लिए बाहरी लिंक डेटा-स्नूपिंग पूर्वाग्रह पर एक ग्रंथ सूची नकली सहसंबंध, अविश्वसनीय सहसंबंधों के उदाहरणों की एक गैलरी वीडियो "न्यूरोस्केप्टिक" द्वारा पी-हैकिंग की व्याख्या करते हुए, डिस्कवर मैगज़ीन स्टेप अवे फ्रॉम स्टेपवाइज में एक ब्लॉगर, जर्नल ऑफ़ बिग डेटा में एक लेख जो चरणबद्ध प्रतिगमन पूर्वाग्रह संज्ञानात्मक पूर्वाग्रहों की आलोचना करता है।