Michèle Nuijten over de replication paradox
Nou, stel dat je een onderzoeker bent en je bent een journal aan het lezen en je vindt een onderzoek over een effect waar je geïnteresseerd bent. En het is je geluksdag, want er vlak naast staat ook nog een kleinere replicatiestudie precies over dat effect. Hoe beoordeel je die informatie dan? En de meeste mensen aan wie ik dat gevraagd heb, dat waren studenten, sociale wetenschappers en psychometricie, die zeggen allemaal, nou ja, dat moet je natuurlijk bij elkaar gooien, want hoe meer informatie, hoe beter. Maar wat blijkt nou, is dat zo'n kleine replicatiestudie je effect-size-schatting eigenlijk alleen maar slechter maakt, omdat er publication bias is. En dat betekent dat onderzoeken die succes hebben, die een effect vinden, een grotere kans hebben om gepubliceerd te raken. En als je onderzoekje maar heel klein is, dan meet je heel ruizig. Dus je effect wat je aan het onderzoeken bent, dat kan alle kanten opschieten. En als alleen maar de extremen uitschieters in de literatuur terechtkomen, dan zijn die ontzettend overschat. Voeg je die dan toe aan die eerste originele studie die je vindt, dan voeg je dus eigenlijk een overschat effect eraan toe en heeft dus niet zoveel zin om die replicatiestudie mee te nemen in schatting. Dan ben je ook getrokken geweest bij een publicatie en science van onderzoek, wat hier aan gerelateerd is. Het onderzoek wat in Science is gepubliceerd, was een groot schale replicatie onderzoek. Daar hebben we 270 co-auto's staan op het paper. En in het paper zijn honderd effecten uit de psychologie gekozen en die zijn gerepliceerd. En het goede van dat onderzoek is dat ze eigenlijk precies ondervangen, het probleem dat ik net eigenlijk aankaardte, dat kleine replicatiestudies schadelijk kunnen zijn voor je effect-size-schatting. Wat ze hier namelijk gedaan hebben is zo groot mogelijke replicatiestudies proberen neer te zetten en die ook nog is te pre-registereren. Dus er alles lag van tevoren alvast en daarna zijn de onderzoeken uitgevoerd. Dus het zijn eigenlijk replicatiestudies van hoge kwaliteit die zo uitgevoerd zijn. Wat kunnen we met deze onderzoeken deze uitslagen? Nou, een van de grotere uitkomsten van dat onderzoek is dat veel van de psychologie onderzoeken bij herhaling eigenlijk andere uitkomsten laten zien. Dus een van de belangrijke dingen die we denk ik moeten doen is vaker dit soort grootschalige projecten op proberen te zetten. 