Data dredging
ડેટા ડ્રેજિંગ (જેને ડેટા સ્નૂપિંગ અથવા પી-હેકિંગ તરીકે પણ ઓળખવામાં આવે છે) એ ડેટામાં પેટર્ન શોધવા માટે ડેટા વિશ્લેષણનો દુરુપયોગ છે જે આંકડાકીય રીતે નોંધપાત્ર તરીકે રજૂ કરી શકાય છે, આમ ખોટા હકારાત્મકતાના જોખમને નાટ્યાત્મક રીતે વધારી અને ઘટાડે છે. આ ડેટા પર ઘણા આંકડાકીય પરીક્ષણો કરીને અને માત્ર નોંધપાત્ર પરિણામો સાથે પાછા આવતા લોકોની જાણ કરીને કરવામાં આવે છે. ડેટા ડ્રેજિંગની પ્રક્રિયામાં સંપૂર્ણ રીતે શોધ કરીને એક જ ડેટા સેટનો ઉપયોગ કરીને બહુવિધ પૂર્વધારણાઓનું પરીક્ષણ કરવું શામેલ છે-કદાચ એવા ચલોનાં સંયોજનો માટે કે જે સહસંબંધ દર્શાવી શકે છે, અને કદાચ એવા કિસ્સાઓ અથવા અવલોકનોના જૂથો માટે કે જે તેમના સરેરાશમાં અથવા કેટલાક અન્ય ચલ દ્વારા તેમના વિરામમાં તફાવત દર્શાવે છે. આંકડાકીય મહત્વના પરંપરાગત પરીક્ષણો એ સંભાવના પર આધારિત છે કે જો એકલી તક કામ કરતી હોય તો ચોક્કસ પરિણામ ઊભું થશે, અને ચોક્કસ પ્રકારના ખોટા તારણોના કેટલાક જોખમને આવશ્યકપણે સ્વીકારે છે (નલ પૂર્વધારણાને ભૂલથી નકારી કાઢે છે). જોખમના આ સ્તરને મહત્વ કહેવામાં આવે છે. જ્યારે મોટી સંખ્યામાં પરીક્ષણો કરવામાં આવે છે, ત્યારે કેટલાક આ પ્રકારના ખોટા પરિણામો ઉત્પન્ન કરે છે; તેથી અવ્યવસ્થિત રીતે પસંદ કરેલી પૂર્વધારણાઓમાંથી 5 ટકા (ભૂલથી) 5 ટકાના મહત્વના સ્તરે આંકડાકીય રીતે નોંધપાત્ર હોવાનું નોંધવામાં આવી શકે છે, 1 ટકા (ભૂલથી) 1 ટકાના મહત્વના સ્તરે આંકડાકીય રીતે નોંધપાત્ર હોવાનું નોંધવામાં આવી શકે છે, અને તેથી, માત્ર તક દ્વારા. જ્યારે પૂરતી પૂર્વધારણાઓનું પરીક્ષણ કરવામાં આવે છે, ત્યારે તે વર્ચ્યુઅલ રીતે ચોક્કસ છે કે કેટલાક આંકડાકીય રીતે નોંધપાત્ર હોવાનું નોંધવામાં આવશે (તેમ છતાં આ ભ્રામક છે), કારણ કે લગભગ દરેક માહિતી સમૂહમાં કોઈપણ માત્રામાં અવ્યવસ્થિતતા સાથે કેટલાક બનાવટી સહસંબંધો (ઉદાહરણ તરીકે) હોવાની શક્યતા છે. જો તેઓ સાવધ ન હોય તો, ડેટા માઇનિંગ તકનીકોનો ઉપયોગ કરતા સંશોધકો આ પરિણામો દ્વારા સરળતાથી ગેરમાર્ગે દોરી શકે છે. પી-હેકિંગ શબ્દ (પી-મૂલ્યોના સંદર્ભમાં) બ્લોગ ડેટા કોલાડા પાછળના ત્રણ સંશોધકો દ્વારા 2014 ના પેપરમાં રચવામાં આવ્યો હતો, જે સામાજિક વિજ્ઞાન સંશોધનમાં આવી સમસ્યાઓને ઉજાગર કરવા પર ધ્યાન કેન્દ્રિત કરે છે. ડેટા ડ્રેજિંગ એ બહુવિધ સરખામણીની સમસ્યાની અવગણના કરવાનું એક ઉદાહરણ છે. એક સ્વરૂપ એ છે કે જ્યારે પેટા જૂથોની સરખામણી વાચકને તપાસવામાં આવેલી પેટા જૂથ સરખામણીઓની કુલ સંખ્યા વિશે ચેતવણી આપ્યા વિના કરવામાં આવે છે. પ્રકારો માહિતીમાંથી તારણો કાઢવા વારંવારની સંભાવનાનો ઉપયોગ કરીને પરંપરાગત આંકડાકીય પૂર્વધારણા પરીક્ષણ પ્રક્રિયા એ સંશોધન પૂર્વધારણા ઘડવાની છે, જેમ કે "ઉચ્ચ સામાજિક વર્ગોના લોકો લાંબા સમય સુધી જીવે છે", પછી સંબંધિત માહિતી એકત્રિત કરે છે. છેલ્લે, માત્ર તક દ્વારા જ પરિણામોની શક્યતા કેટલી છે તે જોવા માટે આંકડાકીય મહત્વ પરીક્ષણ હાથ ધરવામાં આવે છે (જેને નલ પૂર્વધારણા સામે પરીક્ષણ પણ કહેવાય છે). યોગ્ય આંકડાકીય વિશ્લેષણમાં મુખ્ય મુદ્દો એ છે કે પૂર્વધારણાને પુરાવા (ડેટા) સાથે ચકાસવું જેનો ઉપયોગ પૂર્વધારણાના નિર્માણમાં કરવામાં આવ્યો ન હતો. આ મહત્વપૂર્ણ છે કારણ કે દરેક ડેટા સેટમાં સંપૂર્ણપણે તકને કારણે કેટલીક પેટર્ન હોય છે. જો પૂર્વધારણાને સમાન આંકડાકીય વસ્તીના અલગ ડેટા સેટ પર પરીક્ષણ કરવામાં ન આવે, તો તે સંભાવનાનું મૂલ્યાંકન કરવું અશક્ય છે કે એકલા તક આવી પેટર્ન ઉત્પન્ન કરશે. ઉદાહરણ તરીકે, 2 માથા અને 3 પૂંછડીના પરિણામ સાથે સિક્કાને પાંચ વખત ફેરવવાથી કોઈ એવી ધારણા કરી શકે છે કે સિક્કા 3/5 થી 2/5 પૂંછડીની તરફેણ કરે છે. જો આ પૂર્વધારણાનું હાલની માહિતી સમૂહ પર પરીક્ષણ કરવામાં આવે, તો તેની પુષ્ટિ થાય છે, પરંતુ પુષ્ટિ અર્થહીન છે. યોગ્ય પ્રક્રિયા એ હતી કે પૂંછડીની સંભાવના શું છે તેની પૂર્વધારણા અગાઉથી બનાવવી, અને પછી પૂર્વધારણાને નકારી કાઢવામાં આવે છે કે નહીં તે જોવા માટે સિક્કાને વિવિધ વખત ફેંકવો. જો ત્રણ પૂંછડીઓ અને બે માથા અવલોકન કરવામાં આવે, તો બીજી પૂર્વધારણા, કે પૂંછડીઓની સંભાવના 3/5 છે, રચાઈ શકે છે, પરંતુ તે માત્ર સિક્કા ઉછાળવાના નવા સમૂહ દ્વારા જ ચકાસી શકાય છે. એ સમજવું અગત્યનું છે કે ખોટી પ્રક્રિયા હેઠળ આંકડાકીય મહત્વ સંપૂર્ણપણે બનાવટી છે-મહત્વ પરીક્ષણો ડેટા ડ્રેજિંગ સામે રક્ષણ આપતા નથી. બિન-પ્રતિનિધિ માહિતી દ્વારા સૂચવવામાં આવેલી પૂર્વધારણા ધારો કે લોકોના અવ્યવસ્થિત નમૂનાના અભ્યાસમાં 7 ઓગસ્ટના જન્મદિવસ સાથે બરાબર બે લોકોનો સમાવેશ થાય છેઃ મેરી અને જ્હોન. ડેટા ડ્રેજિંગમાં રોકાયેલ કોઈ વ્યક્તિ મેરી અને જ્હોન વચ્ચે વધારાની સામ્યતા શોધવાનો પ્રયાસ કરી શકે છે. બન્ને વચ્ચે સેંકડો અથવા હજારો સંભવિત સામ્યતાઓમાંથી પસાર થવાથી, દરેકમાં સાચું હોવાની ઓછી સંભાવના હોય છે, એક અસામાન્ય સમાનતા લગભગ ચોક્કસપણે મળી શકે છે. કદાચ જ્હોન અને મેરી અભ્યાસમાં માત્ર બે જ લોકો છે જેમણે કોલેજમાં ત્રણ વખત સગીરને બદલ્યા હતા. ડેટા ડ્રેજિંગ દ્વારા પક્ષપાતી એક પૂર્વધારણા એ હોઈ શકે છે કે "7 ઓગસ્ટના રોજ જન્મેલા લોકોમાં કોલેજમાં બે વારથી વધુ સગીરને બદલવાની ઘણી વધારે તક હોય છે". સંદર્ભમાંથી બહાર કાઢવામાં આવેલી માહિતીને તે સહસંબંધને મજબૂત સમર્થન તરીકે જોવામાં આવી શકે છે, કારણ કે અલગ જન્મદિવસ ધરાવતા કોઈ પણ વ્યક્તિએ કોલેજમાં ત્રણ વખત સગીરને બદલ્યા ન હતા. જો કે, જો (સંભવ છે તેમ) આ એક બનાવટી પૂર્વધારણા છે, તો આ પરિણામ મોટે ભાગે પુનઃઉત્પાદનક્ષમ નહીં હોય; 7 ઓગસ્ટના જન્મદિવસવાળા અન્ય લોકોમાં બદલાતા સગીરોનો સમાન દર છે કે કેમ તે તપાસવાનો કોઈપણ પ્રયાસ લગભગ તરત જ વિરોધાભાસી પરિણામો મેળવશે. સિસ્ટેમેટિક બાયસ બાયસ એ વિશ્લેષણમાં એક વ્યવસ્થિત ભૂલ છે. ઉદાહરણ તરીકે, ડોકટરોએ ઉચ્ચ કાર્ડિયોવેસ્ક્યુલર જોખમ ધરાવતા એચ. આય. વીના દર્દીઓને ચોક્કસ એચઆઇવી સારવાર, એબેકાવીર અને ઓછા જોખમવાળા દર્દીઓને અન્ય દવાઓ માટે નિર્દેશિત કર્યા હતા, જે અન્ય સારવારોની તુલનામાં એબેકાવીરના સરળ મૂલ્યાંકનને અટકાવે છે. એક વિશ્લેષણ કે જે આ પૂર્વગ્રહ માટે સાચું ન હતું તે અન્યાયી રીતે એબેકાવીરને દંડ કરે છે, કારણ કે તેના દર્દીઓ વધુ જોખમી હતા તેથી તેમાંના વધુને હૃદયરોગનો હુમલો આવ્યો હતો. આ સમસ્યા ખૂબ જ ગંભીર હોઈ શકે છે, ઉદાહરણ તરીકે, નિરીક્ષણ અભ્યાસમાં. ગેરહાજર પરિબળો, અનમીસર્ડ કોન્ફાઉન્ડર્સ અને ફોલો-અપના નુકસાન પણ પૂર્વગ્રહ તરફ દોરી શકે છે. નોંધપાત્ર પી-મૂલ્યો ધરાવતા કાગળો પસંદ કરીને, નકારાત્મક અભ્યાસોની સામે પસંદ કરવામાં આવે છે, જે પ્રકાશન પૂર્વગ્રહ છે. આને ફાઇલ ડ્રોઅર બાયસ તરીકે પણ ઓળખવામાં આવે છે, કારણ કે ઓછા નોંધપાત્ર પી-મૂલ્યના પરિણામો ફાઇલ ડ્રોવરમાં બાકી રહે છે અને ક્યારેય પ્રકાશિત થતા નથી. બહુવિધ મોડેલિંગ ડેટાના જ્ઞાન દ્વારા આંકડાકીય પરીક્ષણોની સ્થિતિનું બીજું પાસું ઉપયોગમાં લેતી વખતે જોઈ શકાય છે પ્રક્રિયામાં એક નિર્ણાયક પગલું એ નક્કી કરવાનું છે કે સંબંધમાં કયા કોવેરિયેટ્સનો સમાવેશ કરવો તે એક અથવા વધુ અન્ય ચલોને સમજાવે છે. આંકડાકીય (તબક્કાવાર રીગ્રેસન જુઓ) અને મૂળ વિચારણાઓ બંને છે જે લેખકોને અન્ય કરતા તેમના કેટલાક નમૂનાઓની તરફેણ કરવા તરફ દોરી જાય છે, અને આંકડાકીય પરીક્ષણોનો ઉદાર ઉપયોગ થાય છે. જો કે, માહિતીના આધારે સમજૂતી સંબંધમાંથી એક અથવા વધુ ચલને કાઢી નાખવાનો અર્થ એ છે કે સંબંધમાં જાળવી રાખેલા ચલ પર માન્ય રીતે પ્રમાણભૂત આંકડાકીય પ્રક્રિયાઓ લાગુ કરી શકાતી નથી જાણે કે કશું થયું જ ન હોય. કેસની પ્રકૃતિમાં, જાળવી રાખેલા ચલને અમુક પ્રકારની પ્રારંભિક કસોટી (સંભવતઃ અચોક્કસ સાહજિક) પાસ કરવી પડી છે કે જે કાઢી નાખેલા ચલ નિષ્ફળ ગયા. 1 9 66 માં, સેલ્વિન અને સ્ટુઅર્ટે મોડેલમાં જાળવી રાખેલા ચલની સરખામણી માછલી સાથે કરી હતી જે જાળીમાં આવતી નથી-એ અર્થમાં કે તેમની અસરો જાળીમાં પડે છે તેના કરતા મોટી હશે. આ માત્ર જાળવી રાખેલા સ્પષ્ટીકરણાત્મક મોડેલ પર અનુગામી તમામ પરીક્ષણોની કામગીરીમાં ફેરફાર કરતું નથી, પરંતુ તે પૂર્વગ્રહ પણ રજૂ કરી શકે છે અને અંદાજમાં સરેરાશ ચોરસ ભૂલને બદલી શકે છે. હવામાનશાસ્ત્ર અને રોગચાળામાં ઉદાહરણો હવામાનશાસ્ત્રમાં, પૂર્વધારણાઓ ઘણીવાર વર્તમાન સુધીના હવામાન ડેટાનો ઉપયોગ કરીને ઘડવામાં આવે છે અને ભાવિ હવામાન ડેટા સામે પરીક્ષણ કરવામાં આવે છે, જે સુનિશ્ચિત કરે છે કે, અર્ધજાગૃતપણે પણ, ભાવિ ડેટા પૂર્વધારણાની રચનાને પ્રભાવિત કરી શકશે નહીં. અલબત્ત, આ પ્રકારની શિસ્તમાં નવા ડેટા આવવાની રાહ જોવી જરૂરી છે, જે ઘડવામાં આવેલા સિદ્ધાંતની આગાહી શક્તિ વિરુદ્ધ નલ પૂર્વધારણાને દર્શાવે છે. આ પ્રક્રિયા એ સુનિશ્ચિત કરે છે કે કોઈ પણ સંશોધક પર ભવિષ્યસૂચક મોડેલને હાથથી તૈયાર કરવાનો આરોપ ન લગાવી શકે, કારણ કે આગામી હવામાન હજુ સુધી ઉપલબ્ધ નથી. બીજા ઉદાહરણ તરીકે, ધારો કે નિરીક્ષકો નોંધે છે કે કોઈ ચોક્કસ શહેરમાં કેન્સર ક્લસ્ટર હોવાનું જણાય છે, પરંતુ આવું શા માટે છે તેની નક્કર પૂર્વધારણાનો અભાવ છે. જો કે, તેમની પાસે નગર અને આસપાસના વિસ્તાર વિશે મોટી માત્રામાં વસ્તી વિષયક માહિતીની પહોંચ છે, જેમાં સેંકડો અથવા હજારો વિવિધ ચલોના વિસ્તાર માટેના માપનો સમાવેશ થાય છે, જે મોટે ભાગે અસંબંધિત હોય છે. જો આ તમામ ચલ કેન્સરની ઘટનાઓના દરથી સ્વતંત્ર હોય તો પણ, તે ખૂબ જ સંભવ છે કે ઓછામાં ઓછું એક ચલ સમગ્ર વિસ્તારમાં કેન્સરના દર સાથે નોંધપાત્ર રીતે સંકળાયેલું હોય. જ્યારે આ એક પૂર્વધારણા સૂચવી શકે છે, ત્યારે પુષ્ટિ કરવા માટે સમાન ચલોનો ઉપયોગ કરીને પરંતુ અલગ સ્થાનના ડેટા સાથે વધુ પરીક્ષણ જરૂરી છે. નોંધ કરો કે 0.01 નું પી-મૂલ્ય સૂચવે છે કે 1 ટકા સમયનું પરિણામ ઓછામાં ઓછું તે આત્યંતિક તક દ્વારા પ્રાપ્ત થશે; જો સેંકડો અથવા હજારો પૂર્વધારણાઓ (પરસ્પર પ્રમાણમાં બિનસંબંધિત સ્વતંત્ર ચલો સાથે) નું પરીક્ષણ કરવામાં આવે, તો ઘણા નલ પૂર્વધારણાઓ માટે 0.01 કરતા ઓછું પી-મૂલ્ય મેળવવાની શક્યતા છે. સમાજશાસ્ત્રમાં પી-વળાંકને સપાટ કરવાની બીજી રીત લિંગને નિયંત્રિત કરવાની છે. સિમોનસોહન એટ દ્વારા વિશ્લેષણ. અલ. બ્રન્સ અને ઇઓનિડિસ (2016) દ્વારા કરવામાં આવેલા એક અભ્યાસમાં આ દર્શાવવામાં આવ્યું છે, કારણ કે જ્યારે બ્રન્સ અને ઇઓનિડીસે લિંગ નિયંત્રણને છોડી દીધું હતું, ત્યારે આ પણ નોંધાયેલ ટી-મૂલ્યને 9.29 થી ઘટાડીને 0.88 કરી દીધું હતું, જે બિન-કારણભૂત અસર દર્શાવે છે જ્યાં કારણભૂત અગાઉ નોંધવામાં આવ્યું હતું (3). આ એક મહત્વપૂર્ણ તારણ છે કારણ કે ટી-મૂલ્યો પી-મૂલ્યોના વ્યસ્ત પ્રમાણમાં હોય છે, જેનો અર્થ થાય છે કે ઉચ્ચ ટી-મૂલ્યો (2.8થી વધુ) નીચા પી-મૂલ્યો સૂચવે છે. લિંગને નિયંત્રિત કરીને, વ્યક્તિ કૃત્રિમ રીતે ટી-મૂલ્યને વધારી શકે છે, આમ કૃત્રિમ રીતે પી-મૂલ્યને પણ ઘટાડી શકે છે. મીડિયામાં દેખાવ એક ઉદાહરણ પત્રકાર જ્હોન બોહનન દ્વારા હાથ ધરવામાં આવેલ ચોકલેટ વજન ઘટાડવાની અફવા અભ્યાસ છે, જેમણે ગિઝમોડો લેખમાં જાહેરમાં સમજાવ્યું હતું કે આ અભ્યાસ ઇરાદાપૂર્વક એક સામાજિક પ્રયોગ તરીકે છેતરપિંડીથી હાથ ધરવામાં આવ્યો હતો. આ અભ્યાસ 2015 ની આસપાસ ઘણા મીડિયા આઉટલેટ્સમાં વ્યાપક હતો, ઘણા લોકો આ દાવાને માનતા હતા કે દરરોજ ચોકલેટ બાર ખાવાથી તેમનું વજન ઘટશે, તેમના વધુ સારા નિર્ણય સામે. આ અભ્યાસ ઇન્સ્ટિટ્યૂટ ઓફ ડાયેટ એન્ડ હેલ્થમાં પ્રકાશિત થયો હતો. બોહનનના જણાવ્યા અનુસાર, પી-વેલ્યુને 0.05 થી નીચે લાવવા માટે, જ્યારે પરીક્ષણ નિર્ણાયક હતું ત્યારે 18 વિવિધ ચલને ધ્યાનમાં લેવું. ઉપાયો જ્યારે ડેટામાં પેટર્ન શોધવી કાયદેસર છે, ત્યારે તે જ ડેટામાં મહત્વની આંકડાકીય કસોટી અથવા પૂર્વધારણા પરીક્ષણ લાગુ કરવું જ્યાં સુધી કોઈ પેટર્ન બહાર ન આવે ત્યાં સુધી તેનો દુરુપયોગ થવાની સંભાવના હોય છે. ડેટા ડ્રેજિંગ ટાળતી વખતે પૂર્વધારણાઓ બનાવવાની એક રીત એ છે કે રેન્ડમાઇઝ્ડ આઉટ-ઓફ-સેમ્પલ પરીક્ષણો હાથ ધરવા. સંશોધક ડેટા સમૂહ એકત્રિત કરે છે, પછી તેને બે ઉપગણ, એ અને બી માં વિભાજીત કરે છે. પૂર્વધારણાઓ બનાવવા માટે માત્ર એક ઉપગણ-જેમ કે ઉપગણ A-ની તપાસ કરવામાં આવે છે. એકવાર પૂર્વધારણા ઘડવામાં આવે તે પછી, તેનું પેટા સમૂહ બી પર પરીક્ષણ કરવું આવશ્યક છે, જેનો ઉપયોગ પૂર્વધારણાને બનાવવા માટે કરવામાં આવ્યો ન હતો. જ્યાં બી પણ આવી પૂર્વધારણાને ટેકો આપે છે ત્યાં જ પૂર્વધારણાને માન્ય હોવાનું માનવું વાજબી છે. (આ ક્રોસ-વેલિડેશનનો એક સરળ પ્રકાર છે અને તેને ઘણીવાર ટ્રેનિંગ-ટેસ્ટ અથવા સ્પ્લિટ-હાફ વેલિડેશન કહેવામાં આવે છે.) ડેટા ડ્રેજિંગ માટેનો બીજો ઉપાય એ છે કે અભ્યાસ દરમિયાન હાથ ધરવામાં આવેલા તમામ મહત્વપૂર્ણ પરીક્ષણોની સંખ્યાને રેકોર્ડ કરવી અને ફક્ત આ સંખ્યા દ્વારા મહત્વ (આલ્ફા) માટેના માપદંડને વિભાજિત કરવો; આ બોનફેરોની કરેક્શન છે. જો કે, આ ખૂબ જ રૂઢિચુસ્ત મેટ્રિક છે. 0. 05 નો પરિવાર મુજબનો આલ્ફા, 1,000 મહત્વ પરીક્ષણો માટે 1,000 દ્વારા આ રીતે વિભાજિત, 0.00005 નો ખૂબ જ કડક પ્રતિ-પૂર્વધારણા આલ્ફા આપે છે. ભિન્નતાઓના વિશ્લેષણમાં અને પાયાના કાર્યોને સંડોવતા રીગ્રેશન્સ માટે એક સાથે કોન્ફિડન્સ બેન્ડ્સ બનાવવા માટે ખાસ કરીને ઉપયોગી પદ્ધતિઓ શેફની પદ્ધતિ છે અને, જો સંશોધકના મનમાં માત્ર જોડી મુજબની સરખામણીઓ હોય, તો ટુકી પદ્ધતિ છે. બેન્જામિની અને હોચબર્ગના ખોટા શોધ દરનો ઉપયોગ એ વધુ વ્યવહારદક્ષ અભિગમ છે જે બહુવિધ પૂર્વધારણા પરીક્ષણોના નિયંત્રણ માટે એક લોકપ્રિય પદ્ધતિ બની ગઈ છે. જ્યારે બંનેમાંથી કોઈ પણ અભિગમ વ્યવહારુ નથી હોતો, ત્યારે પુષ્ટિકારી માહિતી વિશ્લેષણ અને સંશોધનાત્મક વિશ્લેષણ વચ્ચે સ્પષ્ટ તફાવત કરી શકાય છે. આંકડાકીય અનુમાન માત્ર પહેલાના માટે જ યોગ્ય છે. આખરે, પરીક્ષણનું આંકડાકીય મહત્વ અને તારણનો આંકડાકીય વિશ્વાસ એ માહિતીના સંયુક્ત ગુણધર્મો અને માહિતીની તપાસ કરવા માટે ઉપયોગમાં લેવાતી પદ્ધતિ છે. આમ, જો કોઈ વ્યક્તિ કહે કે કોઈ ચોક્કસ ઘટનાની સંભાવના 20 માંથી 19 ગણી 20 ટકા ± 2 ટકા છે, તો તેનો અર્થ એ છે કે જો ઘટનાની સંભાવનાનો અંદાજ 20 ટકા અંદાજ મેળવવા માટે ઉપયોગમાં લેવાતી સમાન પદ્ધતિ દ્વારા કરવામાં આવે, તો પરિણામ 18 ટકા અને 22 ટકાની વચ્ચે હોય છે. ડેટાનું મૂલ્યાંકન કરવા માટે ઉપયોગમાં લેવાતી પદ્ધતિને યોગ્ય રીતે ધ્યાનમાં લીધા વિના, માત્ર જોઈને આંકડાકીય મહત્વનો કોઈ દાવો કરી શકાતો નથી. શૈક્ષણિક સામયિકો વધુને વધુ નોંધાયેલા અહેવાલ સ્વરૂપ તરફ વળ્યા છે, જેનો હેતુ ડેટા ડ્રેજિંગ જેવા ખૂબ જ ગંભીર મુદ્દાઓનો સામનો કરવાનો છે અને જેણે સિદ્ધાંત-પરીક્ષણ સંશોધનને ખૂબ જ અવિશ્વસનીય બનાવ્યું છે. ઉદાહરણ તરીકે, નેચર હ્યુમન બિહેવિયરએ રજિસ્ટર્ડ રિપોર્ટ ફોર્મેટ અપનાવ્યું છે, કારણ કે તે "સંશોધનના પરિણામોમાંથી સંશોધનને માર્ગદર્શન આપતા પ્રશ્નો અને તેમના જવાબ આપવા માટે ઉપયોગમાં લેવાતી પદ્ધતિઓ પર ભાર મૂકે છે". યુરોપીયન જર્નલ ઓફ પર્સનાલિટી આ સ્વરૂપને નીચે પ્રમાણે વ્યાખ્યાયિત કરે છેઃ "નોંધાયેલા અહેવાલમાં, લેખકો એક અભ્યાસ દરખાસ્ત બનાવે છે જેમાં સૈદ્ધાંતિક અને પ્રયોગમૂલક પૃષ્ઠભૂમિ, સંશોધન પ્રશ્નો/પૂર્વધારણાઓ અને પાયલોટ ડેટા (જો ઉપલબ્ધ હોય તો) નો સમાવેશ થાય છે. સબમિટ કર્યા પછી, આ દરખાસ્તની માહિતી સંગ્રહ કરતા પહેલા સમીક્ષા કરવામાં આવશે, અને જો સ્વીકારવામાં આવશે, તો અભ્યાસના પરિણામોને ધ્યાનમાં લીધા વિના, આ પીઅર-સમીક્ષા પ્રક્રિયાના પરિણામે પેપર પ્રકાશિત કરવામાં આવશે. મુક્ત વિજ્ઞાન અભિગમની જેમ પદ્ધતિઓ અને પરિણામોને પણ જાહેરમાં ઉપલબ્ધ કરાવી શકાય છે, જેનાથી ડેટા ડ્રેજિંગ થવું વધુ મુશ્કેલ બને છે. વધુ વાંચો બાહ્ય કડીઓ ડેટા-સ્નૂપિંગ પૂર્વગ્રહ પર એક ગ્રંથસૂચિ બનાવટી સહસંબંધો, અવિશ્વસનીય સહસંબંધોના ઉદાહરણોની એક ગેલેરી "ન્યુરોસ્કેપ્ટિક" દ્વારા પી-હેકિંગને સમજાવતી વિડિઓ, ડિસ્કવર મેગેઝિન સ્ટેપ અવે ફ્રોમ સ્ટેપવાઇઝ ખાતે એક બ્લોગર, જર્નલ ઓફ બિગ ડેટામાં એક લેખ જેમાં પગલાવાર રીગ્રેસનની ટીકા કરવામાં આવી છે.