Replicatie & Data Security
In de psychologie zitten we met een probleem dat al een tijdje bekend is en dat wordt de replicatie crisis genoemd. En dat heet zo omdat er is gebleken dat een heleboel beweze effecten eigenlijk niet meer gevonden worden als mensen het onderzoek opnieuw doen. En dat is een probleem, want dat werpt vraagtekens op hoe betrouwbaar de psychologische resultaten zijn. Een van de mogelijke oorzaken is dat alleen maar succesverhalen in de literatuur verschijnen. Dus als er geen effect wordt gevonden in een studie, verdwijnt die studie ergens in la. Een andere mogelijke verklaring is dat je in de psychologie een heleboel verschillende manieren hebt om je data te analyseren. En dat je uit al die analyses de mogelijkheid hebt om te kiezen welke analyse voor jou het beste verhaal schet. En dat gaat ook heel vaak onbewust, dat is heel menselijk. Het probleem is alleen dat als je dat doet er een veel te rooskleurige beeld ontstaat. En daardoor worden studie's als we het herhalen, vindt je niet meer opnieuw die resultaten, want die resultaten het gevolg waren van een lang kronkelig pad door je analyse heen. En een van de oplossingen die daarvoor bedacht zijn is het delen van data. Als we het delen van data verplichtstellen, of in ieder geval als data gedeeld worden, dan hebben we de kans om analyses opnieuw te draaien. Als we precies dezelfde analyse opnieuw draaien, kunnen we kijken of er niet fouten zijn gemaakt bijvoorbeeld. En je hebt ook de kans om een andere analyse te draaien, dus om te kijken wat gebeurt er nou met de resultaten als ik andere keuzes maak in mijn analyse. Blijft het resultaat dan overeindstaan of hing alles op één co-variaat die je op een obscure manier erin hebt weten te fietsen. Op die manier kunnen we veel beter testen wat de robustheid van resultaten is. Tilburg University biedt dataverse aan. Dat is een data repository waarin onderzoekers na afgelopen van hun onderzoek hun data en alle bijbehorende gegevens zoals vragenlijsten en syntaxes kunnen op slaan, zodat het voor de toekomst veilig opgeslagen is. En het mooie is dat Tilburg University onlangs de eerste universiteit in Nederland is geworden die hiervoor het Dataseal of Approval heeft behaald. Tegenwoordig heet het Accord Trust Seal. 