Methodologie: Sociale psychologie in crisis | dr. Tila Pronk | Tilburg University | #2.1
Welkom, dit is college 2. In dit college gaan we praten over meteorologie. Meteorologie is heel vaak niet het meest favoriete onderwerp van studenten. En als ik heel eerlijk ben, is het ook niet per se mijn favoriete onderwerp, maar het is wel een noodzakelijk onderwerp. Het is namelijk heel erg belangrijk om goed te begrijpen op welke manier sociaalpsychologen onderzoek doen. Omdat je alleen maar dan goed kan begrijpen wat de uitkomsten van dat onderzoek betekenen. En ook helpt het je natuurlijk om kritisch te kunnen zijn op het onderzoek op het moment dat je weet welke vaardigheden, welke manieren sociaalpsychologen gebruiken om hun onderzoeksvragen te kunnen beantwoorden. En vooral in de sociaalpsychologie is meteorologie heel erg relevant. En dat heeft ermee te maken dat sociaalpsychologie eigenlijk best een problematisch veld is van de wetenschap. Sociaalpsychologen hebben namelijk problemen. En we hebben drie problemen die ik vandaag met jullie wil bespreken. Eerste probleem is het imago van sociaalpsychologie. Het tweede probleem zijn de slechte onderzoeks praktijken waar we mee te maken hebben gehad, de afgelopen decennia. En tot slot het oneetische onderzoek wat eerder is uitgevoerd. Nou, daar ga ik jullie van alles over vertellen. Laat ik beginnen met het eerste punt, het imago van een sociaalpsycholoog en sociaalpsychologisch onderzoek. Wat namelijk heel vaak de feedback is die ik krijg als sociaalpsycholoog, is dat het onderzoek wat ik uitvoer dat dat eigenlijk gewoon gezond verstand is. Heel veel mensen maken opmerkingen als ja, wat die sociaalpsychologen allemaal anders zoeken. Dat is gewoon zo voor de hand liggend. Daar hoef je helemaal geen kostbaar belastinggeld tegen aan te gooien, wat nou te testen, want dat weten we toch allemaal wel. Dus gewoon je logische gezonde verstand gebruiken, dan kan je dat zelf ook allemaal wel bedenken. Dat verhaal kreeg ik ook te horen toen ik zelf onderzoek deed. Ik ben gepromoveerd op de vraag waarom sommige mensen beter hun liefdesrelatie kunnen behouden, meskermer dan andere. En één onderdeel van mijn onderzoek ging over vreemdgaan. Een onderwerp wat heel erg veel mensen aanspreekt. En ik kreeg ook best wel veel mediaaandacht bij dit specifieke onderzoek. En wat mijn onderzoek nou liet zien, was dat mensen eerder vreemdgaan als zij een slechte mate van impulscontrole hebben. Dus als je je impulse niet goed kan beheersen, ga je snel naar vreemd.  Nou, dat heb ik op heel veel best wel coole manieren, vind ik zelf onderzocht. En dat onderzoek, dat werd ook veel besproken. Alleen kreeg ik dus ook heel vaak te horen van mensen die zeggen, ja, dat is toch gewoon zo voor de hand liggen. Dat weten we toch allemaal wel. Waarom moet je daar nou onderzoek naar doen? Dat is gewoon heel logisch. Nou, dat soort redonaties, dat noemen we ook wel de hindsight bias. Dus dat is dat je eigenlijk informatie te horen krijgt. En dat vind jij heel logisch klinken. En dat het heel erg logisch klinkt, denk je dat jij het ook wel zo had kunnen voorspellen. Dus achteraf denk je, ja, dat wisten we toch al lang. Dat hoef je toch niet te onderzoeken. En dat noemen we dus de hindsight bias. En waarom noemen we dat nou een bias? Dat komt omdat achteraf al het heel erg makkelijk praten is. Als je alle informatie al gepresenteerd hebt gekregen, dan lijkt het allemaal heel logisch wat het onderzoek heeft aangetoond. Maar heel vaak is het helemaal niet zo logisch. En dat zie je bijvoorbeeld als je zelf onderzoek gaat doen. En ik wil jullie uitdagen om mee te denken bij de volgende vraagstuk. En de volgende situaties, de uitkomsten te voorspellen. Eerste situaties. Stel je voor, je hoort een liedje op de radio. Je vindt echt een hartstikke leuk liedje. En je denkt nou, dat is best wel een leuk nummer. Dan de komende weken hoor je het heel vaak op de radio. Keeer en over en over en over again. Dus heel vaak hoor je dat nummer op de radio. Denk je dan dat je na een paar weken dat nummer nog leuker vindt? Even leuk of minder leuk? Denk daar maar eens over na. Volgende vraag. Volgende mogelijkheid voor jou om de uitkomsten van sociaal psychologische onderzoek te voorspellen. Stel je voor een jongetje, Taro. Dat is toevallig mijn zoon. 9 jaar oud, speelt op zijn kamer. En hij speelt op zijn kamer. Het is een beetje rommelig daar. En hij besluit helemaal zelf om te gaan opruimen. Dat is revolutionair voor hem. Hij besluit zelf om zijn kamer op te gaan ruimen. En tot zijn eigen verbazing heeft hij daar eigenlijk best wel veel plezier in. In het opruimen van zijn kamer.  Dan komt zijn moeder binnen, ik kom zijn kamer binnen. En ik ben helemaal verbaasd dat hij ineens zijn kamer heeft opgeruimd. En ik ben zo blij dat ik besluit om hem te belonen met 5 euro waar hij zelf iets leuks voor kan gaan kopen. Denk jij dat Taro het opruimen van zijn kamer na deze betaling nou nog leuker is gaan vinden? Even leuk of minder leuk? Ik ga jullie nu nog geen antwoord geven op deze vragen. Maar deze vragen gaan we allemaal, we gaan we bespreken de komende weken. En ik denk dat je wel intuïtief een bepaald antwoord nu hebt. Dus je denkt ja, maar ik weet wel hoe dat zit. Dat zit namelijk zo en zo. En mijn voorspelling is dat je, dat er best een grote kans is dat je het niet bij het rechte eind hebt. Dus wat jouw antwoord nu is, dat dat misschien helemaal niet klopt. Maar stay tuned voor het antwoord. Maar het is meer om aan te geven dat het dus vooraf, best wel moeilijk is om goede voorspellingen te doen. En achteraf lijkt het allemaal heel erg makkelijk. Nou goed, imago is dus een probleem van sociapsycologen dat mensen denken dat het allemaal heel logisch is, maar heel vaak is het helemaal niet zo logisch. Iets waar jullie ook achter gaan komen de komende weken. Maar eigenlijk is imago het eerste, maar ook wel het minste van onze problemen. Laten we doorgaan naar een nog lastigere kwestie. En dat heeft van alles te maken met deze man hier. Ik ben benieuwd of je hem herkent. Deze man is al heel lang heel erg bekend in bepaalde kringen. Hij was namelijk een sociaalpsycholoog, heel erg bekende sociaalpsycholoog hier in Nederland. Hij werkte aan de Universiteit van Tilburg en hij was daar hoog leraar professor in de afdeling Sociaalpsychologie, dus waar ik werk. Ik werk er toen nog niet, maar nu werk ik daar wel. Hij was er ook hoofd van de vakgroep. Uiteindelijk is hij ook dekaan geworden van de vakantuin, dus echt iemand met heel veel macht. En hij deed heel veel onderzoek, ook met andere sociaalpsycholoog. En zijn onderzoek was best wel bekend. Hij was ook veelvuldig in de media met onderzoek naar bijvoorbeeld het verschil tussen mensen die vleesaten en vegetariërs. En dat vleeseters huftiger gedrag vertoonden dan vegetariërs.  En daar kreeg hij heel veel mediaaandacht bij. En hij kreeg ook heel veel beursen voor zijn onderzoek. Dus hij kreeg wel miljoenen aan subsidie om zijn onderzoek uit te voeren. Dus echt een hele bekende succesvolle wetenschapper. Dus het ging eigenlijk allemaal voor de wind, tot 2011. Toen een groepje studenten ineens twijfels uit over de manier waarop hij onderzoek deed. Ze vonden het eigenlijk allemaal een beetje fuzzie. Ze dachten dit klopt niet helemaal. En zij hebben uiteindelijk aan de bel getrokken, deze dappere studenten. En zij hebben eigenlijk de andere hoogleraren en vertrouwingspersonen binnen de universiteit op de hoogt gesteld, dat zij twijfels hadden bij zijn onderzoeksmethoden. Toen is er eigenlijk een enorme beerput opgetrokken, want wat bleek nou? Die Dereke Stapel bleek al jarenlang op hele grote schaal verouden te plegen, wetenschapsverouden. Wat hij deed, was dat hij eigenlijk een grote deel onderzoekersresultaten gewoon verzond. Dan zei hij bijvoorbeeld dat hij onderzoek deed bij basisschoolscholieren en dat die allemaal vragenlijsten ook uitgeprinten, vragenlijsten. En dan zei hij dat hij zo genaamd naar die basisscholen ging. Maar wat hij stiekem deed, was zelf die vragenlijsten allemaal invullen. En op die manier kwamen al zijn onderzoek altijd prachtig uit. Dus hij had de allermooiste resultaten, allemaal fantastisch mooie onderzoeksresultaten, maar die waren ons helemaal uit de duim gezogen, helemaal verzonnen. Nou, dit is natuurlijk een heel extreem en ook heel erg bekend voorbeeld van een slechte onderzoekspartijk. Vrouwen kun je wel scharen onder slechte onderzoekspartijken. En het werk van Dereke Stapel is ook teruggetrokken ook door hele veel aanstaande tijdschriften waarin hij gepubliceerd had, zoals science en nature. Die hebben allemaal gezegd van deze artikelen, die trekken we terug. Die kloppen niet meer. En uiteindelijk heeft Dereke Stapel ook strafrechtelijk vervolgd. Want je kan je ook voorstellen dat als jij heel veel geld hebt gekregen van de overheid om je onderzoek te doen en dat onderzoek blijkt allemaal net te zijn, daar moeten daar voor jezelf ook consequenties aan zitten. En uiteindelijk heeft hij geen zelfstraf gekregen, maar hij heeft de antakelstraf gekregen van 120 uur. En hij is natuurlijk op staande voet ontlagen bij de universiteit. En hij werkt er dus ook niet meer. Uiteindelijk heeft hij ook nog wel een boek geschreven over hoe het allemaal heeft kunnen ontstaan. Wat hij tegenwoordig doet, dat weet ik niet.  Maar hij heeft in ieder geval in de wetenschap heel veel schade toegebracht. Natuurlijk ook weer opnieuw aan het imago van sociaalpsychologen. Ook het imago van Tilburg heeft hij ook heel erg geschaad. Maar een beetje door de ontdekking van de vrouwen van Dereke Stapel is ook een balletje gaan rollen. En zijn we eigenlijk veel kritischer gaan kijken naar de metode die wij gebruiken om onderzoek te doen. Want het is natuurlijk best wel gek als je erover nadenkt dat hij zoveel jaren daarmee is weggekomen om dat onderzoek zo te neppen en aan al die data te verzinnen. Hoe is dat eigenlijk mogelijk geweest, dat niemand dat heeft ontdekt. Dus we zijn eigenlijk veel kritischer gaan kijken naar het onderzoek wat is uitgevoerd. En wat bleek nou? Er waren heel veel onderzoeken die eigenlijk helemaal niet zo goed zijn uitgevoerd. Er zijn nog meer gevallen van vrouwen bekend geworden, ook bijvoorbeeld in Nijmegen en ook niet alleen bij sociaal psychologen maar ook bijvoorbeeld bij wetenschappers in de hoek van medicijnen. Dus er waren meer vrouwen gevallen, maar er waren ook nog veel meer gevallen van slecht onderzoek. Onderzoek waarbij er bijvoorbeeld resultaten zijn verduisterd, de data is een beetje bewerkt zodat de resultaten wat mooier uitkwamen. En dat heeft eigenlijk een hele methodologische verandering ingezet. Wat we eigenlijk uiteindelijk zeggen noemen de replicatiecrisis. En replicatiecrisis wilde zeggen dat op het moment dat wij als onderzoekers onderzoeken die in het verleden zijn uitgevoerd opnieuw gaan uitvoeren, dat noemen we repliceren. Dus opnieuw uitvoeren van bestaand onderzoek. Ja, dan vind je soms andere resultaten. En als dat zo is, als je andere resultaten vindt, dan is dat best wel problematisch. Want onze theorieën zijn allemaal ontwikkeld op basis van die eerdere bevindingen. En als die eerdere bevindingen helemaal niet blijken te kloppen, dan moet je ook kritischer zijn. En sommige theorieën helemaal weggooien of op de schop gooien. Het veld heeft daar heel erg wel onder geleden. En er is ook heel veel aandacht voor geweest ook in hele bekende vooraanstaande wetenschappelijke tijdschriften ook in de gewone media. Dat bleek dat er gewoon heel veel psychologisch onderzoek de repliciteitstest niet hebben doorstaan. Dus als je die opnieuw uitvoert, krijg je andere resultaten. Ja, eigenlijk een heel groot probleem. Want ja, de theorieën waarbij wat we dachten kunnen geloven, bleek er gewoon niet te kloppen.  Nou, dat is natuurlijk heel slecht nieuws geweest. Maar het goede nieuws is dat we dit nu weten. En dat we op dit moment echt veel betere onderzoeksmethoden gebruiken. Waardoor de kennis die wij nu vergaren als sociaalpsychologen eigenlijk veel betrouwbaar er is. En veel, ja, daar kan je echt op bouwen. Omdat we gewoon veel beter onderzoek zijn gaan doen. Nou, op welke manier doen wij dan onderzoek om dit soort praktijken te voorkomen? Nou, dat doen we dus ten eerste door het uitvoeren van replicatieonderzoek. Ik zei het al, dat wilde zeggen dat je eerder onderzoek wat vroeger is uitgevoerd opnieuw gaat uitvoeren om te kijken of je dezelfde resultaten vindt. En als je dat vindt, dan geeft dat soort van bewijs of in ieder geval een onderschrijving van dat die theorieën nog steeds kloppen. Dus replicaties zijn heel erg belangrijk. Het tweede metode is meta-analyses. En met meta-analyses kijk je eigenlijk naar verschillende studies die dezelfde onderzoeksvraag wilde beantwoorden. En je gaat kijken of je, als je het gemiddelde effect neemt over al die studies of je dan inderdaad vindt dat die gedachte gewoon klopt. Dus je maakt eigenlijk een soort van gemiddelde over allemaal verschillende studies. Dit noemen we een meta-analyse. En als laatste verschil nu, de manier waarop wij nu onderzoek doen, is dat we gebruik maken van open science. En dat dat ook heel erg wordt aangemoedigd in de sociale psychologie, maar ook in andere disciplines van de wetenschap. En met open science bedoelen we dat wij heel erg open zijn in de manier waarop we onderzoek doen. En dat zit hem in verschillende factoren. Wat we bijvoorbeeld doen, is dat wij onze hypothesis preregisteren. En dat wil zeggen dat op het moment dat ik een onderzoeksvraag heb. En ik ga dus nadenken over, hey, ik heb een bepaalde vraag. Wat verwacht ik te kunnen vinden? Dan schrijf ik dat op. En dat leg ik ook vast in een soort van openbare website zodat iedereen kan zien, oh, Tila had dit onderzoeks idee en dit was haar voorspelling. Vervolgens ga ik het onderzoek uitvoeren en vind ik dus dat die voorspelling wel of niet uitkomt. En omdat ik me van tevoren mijn hypothese al heb vastgelegd, kan ik er minder makkelijk mee zoomelen. Want dat is ook iets wat veel gebeurde in de wetenschap dat mensen een onderzoek gingen uitvoeren.  Ze vonden iets, dat was heel anders dan wat ze hadden gedacht. En dan ging ze daar een heel mooi verhaal om heenschrijven. Dat kan dus niet meer. Dus je moet nu eigenlijk van tevoren al heel duidelijk zeggen dit is mijn verwachting. En dat leg je dus vast, dat pre-registerer je. Daarbij gemaakt je ook gebruik van open data en open materialen. Dat wil zeggen dat iedereen kan inzien welke materialen je hebt gebruikt om je studie uit te voeren. En de data set, dus waar je je statistische analyse over doet, die zijn ook openbaar, zodat iedereen zelf ook die analyse na kan doen zodat ze dat zouden willen. Heel veel werk voor wetenschappers, om dit allemaal goed te doen. Maar het zorgt natuurlijk wel voor dat wij op deze manier veel betrouwbaar zijn geworden. Dus de onderzoeken die we vandaag doen zijn de regel echt veel beter, van methodologisch betere kwaliteit dan Pak en Becht 20 jaar geleden. Nou, dan hebben we dit opgelost toch? Dan zou je denken, nou, klaar, opgelost. Nu zijn we allemaal weer, nu kunnen we allemaal weer vrolijk verder. Er is alleen nog één probleem dat ik nog niet heb besproken, en dat heeft te maken met onethisch onderzoek. Hier zie je foto's van onderzoek wat ook daadwerkelijk is uitgevoerd in de jaren 60, 70 in Amerika door Stanley Milgram bijvoorbeeld en Philips in Bardo, twee hele vooraanstaande sociaal psychologen wetenschappers die ook werkzaam waren op hele gerenomeerde instituten, zoals bijvoorbeeld Stanford, nog steeds een van de bekendste en meest vooraanstaande academische instellingen ter wereld. En over de inhoud van dit onderzoek daar ga ik jullie later in de keuze nog heel veel meer vertellen. Maar wat ik nu eigenlijk vooral wil benoemen is dat hoewel de onderzoeksidee van zowel Milgram en Simbardo heel erg mooi waren, heel erg goed waren, ze wilden echt fundamenteel menselijk gedrag bestuderen zoals groepsgedrag en gehoorzaamheid van mensen. Mooie onderzoeksvragen, belangrijke thema's maar de manier waarop ze dit onderzoek hebben uitgevoerd is echt totaal onethisch. En dit onderzoek had eigenlijk nooit uitgevoerd mogen worden. Omdat proefpersonen de deelnemers van dit onderzoek echt schade is toegebracht. De manier waarop, daar ga ik dus later meer over vertellen maar heel veel jaren hebben wetenschappers eigenlijk vrij onethisch onderzoek gedaan.  En dit is echt een heel groot probleem geweest en ook een probleem omdat we natuurlijk schade hebben toegebracht aan de mensen die ons juist vooruit helpen in het onderzoek, de deelnemers van ons onderzoek. Dat kan natuurlijk ook niet meer. We zijn ons op dit moment gelukkig ook veel bewuster van onze verantwoordelijkheid als wetenschappers en we hebben veel strengere regels als het gaat om etiek. Zo werken wij tegenwoordig met informed consent. En informed consent wil zeggen dat de deelnemers op het moment dat ze gaan mee gaan werken met je onderzoek krijgt ze eerst een informatiebrief te lezen en in die informatiebrief staat er gewoon wat ze kunnen verwachten als de manier naar het onderzoek, dus dit gaan we ongeveer verwachten dit gaan we ongeveer bestuderen en dit zijn de onderdelen waar je aan mee gaat doen en pas als ze alle informatie hebben gelezen dan vragen ze ja ga je akkoord geef jij consent geef je toestemming om deel te nemen aan dit onderzoek en dan zet ze een handtekening en pas dan gaat het onderzoek van start. Dus we informeren ze echt veel beter dan vroeger. Dit gebeurde vroeger helemaal niet kregen eigenlijk geen informatie vooraf. Het tweede is dat wij op dit moment proberen om misleiding te voorkomen misleiden van proefpersonen klinkt logisch toch waarom zou je nou proefpersonen misleiden nou dat is een ja eigenlijk voor hele lange tijd best wel een belangrijk onderdeel geweest van onderzoek bij vansociaal psychologen. Heel vaak gingen we proefpersonen een beetje neppen. We gaven ze gewoon verkeerde informatie we zetten ze op het verkeerde been om op die manier te kijken of we hun gedrag konden sturen. Een voorbeeld die van is dat deelnemers bijvoorbeeld een taakje moesten doen onzint taakje bijvoorbeeld tel het aantal balletjes in het scherm of een net persoonlijkheid test en dan kregen zij false feedback. Dus neppe feedbacks kregen bijvoorbeeld te horen. Nou op basis van het testje wat jij eerder hebt gedaan die persoonlijkheid test kunnen wij voorspellen dat jij later helemaal geen vrienden meer zult hebben. Iedereen zal je verlaten die ze ook geen relatie meer hebben en uiteindelijk zal je eenzaam sterven.  Nou is er nog wat om te horen dat is een leuk bericht om te krijgen als je gewoon in je rijtijd mee dan onderzoek je vreselijk en onderzoekers deden dat vaak met hele goede intenties omdat ze gewoon nieuwsgierig waren wat er gebeurde met mensen al zijn heel naar bericht te horen krijgen en hoe ze zich dan gaan gedragen als ze zich bedrijf voelen bijvoorbeeld. Dus die intenties van die onderzoekers waren misschien wel goed maar uiteindelijk heb je proefpersoon heel veel schade aangebracht vooral als je ze vervolgens niet duidelijk uitlegt waarom je dat hebt gedaan en dat die feedback helemaal niet klopt en daar kom ik later nog even op terug maar we proberen dus dit moment om misleiding van deelnemers te voorkomen. 