Replicatiecrisis
De replicatiecrisis is een probleem in de wetenschap waarbij veel, soms tot dan toe baanbrekende, onderzoeken niet reproduceerbaar bleken. Begin jaren 2010 werd duidelijk dat dit niet slechts incidenteel was, maar dat het een wijdverbreid probleem was. Dit is schadelijk voor de wetenschap, onder meer omdat replicatie een van de criteria is om wetenschap te onderscheiden van pseudowetenschap.

Reproduceerbaarheid is een belangrijk onderdeel van de wetenschappelijke methode en als een experiment niet herhaald kan worden met vergelijkbare resultaten, impliceert dit dat de oorspronkelijke metingen en mogelijk ook de te onderbouwen hypothese of theorie onjuist waren. Een wetenschappelijke studie moet dan ook herhaald worden om zeker te maken dat het geen anekdotisch bewijs betreft. Bij directe replicatie wordt het originele onderzoek vrijwel exact gevolgd, terwijl bij een conceptuele replicatie een andere methode wordt gebruikt of een andere groep wordt onderzocht.

De replicatiecrisis heeft de aandacht versterkt voor metawetenschap, het toepassen van wetenschappelijke methodes om de manier waarop wetenschap wordt bedreven te onderzoeken.

Aanloop 
Al in 2005 betoogde John Ioannidis dat de manier waarop de p-waarde wordt gebruikt om significantie aan te tonen ertoe leidt dat de meeste publicaties foutpositieve resultaten bevatten. Ioannidis en Thomas Trikalinos noemden dit het Proteusfenomeen.

Reproducibility Project 
In 2011 werd duidelijk dat Diederik Stapel zich schuldig had gemaakt aan wetenschappelijke fraude, meer specifiek aan datamanipulatie en het verzinnen van gegevens. Schokkend was niet alleen de fraude zelf, maar ook dat de 55 publicaties waarbij fraude werd vastgesteld door het systeem van peerreview waren gekomen.

In hetzelfde jaar kwam Daryl Bem met een studie waarin de mogelijkheid om de toekomst te voelen werd geopperd. Dit was het begin van een controverse die niet alleen problemen met replicatie onder de aandacht bracht, maar ook de moeilijkheid om mislukte pogingen gepubliceerd te krijgen. Zo kregen onder meer Stuart Ritchie, Chris French en Richard Wiseman hun studie maar met moeite gepubliceerd. Replicatiestudies zijn niet geliefd, niet bij wetenschappelijk tijdschriften, maar ook niet bij financiers.

Dat de studie van Bem toch gepubliceerd was, kwam omdat deze op het eerste gezicht aan alle voorwaarden voldeed die worden gesteld aan hoe gegevensverzameling en -verwerking plaats zou moeten vinden. Toevallig werd in oktober 2011 het artikel False Positive Psychology gepubliceerd waarin duidelijk werd gemaakt hoe groot de invloed kan zijn van de selectie van gegevens op het aantal foutpositieve resultaten. Onderzocht werd in hoeverre mensen zich jonger of ouder voelden na het horen van een bepaald muzieknummer. Het controlenummer was Kalimba van Mr. Scruff en de eerste vraag was of mensen zich na het horen van het kinderliedje Hot Potato van The Wiggles ouder zouden voelen dan na het horen van Kalimba. De tweede vraag was of mensen zich na het horen van When I'm Sixty-Four van The Beatles juist jonger zouden voelen. Beide vragen werden bevestigend beantwoord, wat ondersteund wordt met wat een valide onderbouwing lijkt te zijn. In de rest van het artikel wordt duidelijk gemaakt dat de gewenste resultaten bereikt werden door bepaalde selectiekeuzes te maken, maar vooral hoe makkelijk het is om bewust of onbewust het aantal foutpositieve resultaten sterk te veranderen.

Deze drie gebeurtenissen waren aanleiding voor het Reproducibility Project dat eind 2011 begon onder Brian Nosek. Het project was een crowdsourcing en wist uiteindelijk met 270 auteurs 100 gepubliceerde studies te onderzoeken. Dit waren allemaal studies uit 2008 en gepubliceerd in  Psychological Science, Journal of Personality and Social Psychology en Journal of Experimental Psychology: Learning, Memory, and Cognition. Het resultaat werd in 2015 gepubliceerd. Het eerste wat opviel was dat 97% van de studies stelde significante resultaten te hebben, er werden dus vrijwel geen studies gepubliceerd waarbij de aanvankelijke hypothese niet houdbaar bleek, maar juist de nulhypothese van toepassing was. Meer specifiek was bij deze 97 studies de p-waarde kleiner dan de gebruikelijke, maar arbitraire 0,05. Bij de pogingen tot replicatie was het aantal significante resultaten gedaald tot 35 studies (36%) en bleek de effectgrootte nog niet de helft van de oorspronkelijke studies.

Oorzaken

Oorspronkelijke studies 
Er zijn verschillende oorzaken dat studies een hypothese bevestigen, zonder dat dit gerechtvaardigd is. Allereerst speelt het bevestigingsvooroordeel ook bij wetenschappers een rol, ook al worden zij geacht niet zozeer te  verifiëren als wel te falsificeren.

Daarnaast is een academische carrière afhankelijk van de mate waarin een wetenschapper gepubliceerd wordt. Dit fenomeen van publiceer of sterf speelt al lange tijd, het werd voor het eerst in 1928 genoemd. Dat blijkt ook uit een uitspraak van Hannah Arendt uit 1972:
This business of "publish or perish" has been a catastrophe. People write things which should never have been written and which should never be printed. Nobody's interested. But for them to keep their jobs and get the proper promotion, they've got to do it.

Er is dan ook een publicatiebias en publicaties zijn waarschijnlijker bij hypothesebevestigende studies, hypotheseweerleggende studies verdwijnen veelal in de onderste bureaulade, het bureaulade-effect. Bewuste of onbewuste gegevensselectie kan daarbij het resultaat zijn. Voor een wetenschappelijke promotie is oorspronkelijk onderzoek zelfs een vereiste, waarmee een replicatiestudies uitgesloten zijn.

Replicatiestudies 
Een studie uit 2012 vond dat van de psychologische onderzoeken uit 100 tijdschriften die sinds 1900 waren gepubliceerd, mogelijk slechts zo'n 1% replicatiestudies betrof. Wel nam het aantal de laatste decennia gestaag toe. In tegenstelling tot de bovenstaande studies, wist de meerderheid van de replicatiestudies de oorspronkelijke resultaten te repliceren, al was dit minder het geval als geen van de oorspronkelijke auteurs betrokken was bij de replicatiestudie.

Uit de studie uit 2016 onder 1576 wetenschappers bleek dat maar weinigen hadden geprobeerd replicaties gepubliceerd te krijgen en diegenen die dat wel hadden, was vaak gevraagd om minder nadruk op de originele studie te leggen.

Gevolgen 
Foutpositieve resultaten zetten allereerst de wetenschap op een achterstand, aangezien onderzoeksrichtingen gevolgd blijven worden die weinig kans hebben om vooruitgang te boeken.

Het gevaar bestaat ook dat de replicatiecrisis het vertrouwen in de wetenschap ondermijnt. Hoewel hier weinig onderzoek naar is gedaan, lijkt dit effect beperkt door de geringe publieke bekendheid met deze crisis. Replicatie wordt daarnaast gezien als het zelfreinigende mechanisme van wetenschap.

Oplossingen 
In hun studie uit 2011 stellen Simmons et al. een aantal randvoorwaarden voor bij de gegevensanalyse. Zo zouden de criteria voor de gegevensselectie – zoals bepalen en verwijderen van uitbijters – vooraf (ex ante) gedaan moeten worden om gegevensmassage te voorkomen en zouden er minstens 20 observaties per cel gedaan moeten worden.

Een funnel-plot kan worden gebruikt bij meta-analyses om te bepalen of er aanwijzingen zijn voor publicatiebias.

Noten 

Onderzoek
Statistiek