Lees 'bejaard', en u gaat sloffen*

In de wetenschap moet je elk experiment kunnen herhalen, heet het altijd. Maar in de psychologie rommelt het: belangrijke effecten lijken na eenmalige opvoering te verdampen. Rust de psychologie op experimenteel drijfzand?

DOOR ASHA TEN BROEKE

De psychologie zit in een crisis. Veel effecten waarvan men dacht dat ze beproefd en bewezen waren, blijken bij nader inzien een stevig wetenschappelijk fundament te missen. Pogingen oudere experimenten over te doen, blijven geregeld zonder resultaat.

Nobelprijswinnaar Daniel Kahneman vestigde vorige week de aandacht nog eens op de crisis. Hij schreef zich zorgen te maken over het sociaal-psychologische onderzoek naar priming: het effect dat mensen die onbewust met bijvoorbeeld een stereotype in aanraking komen, zich ook een beetje daarnaar gaan gedragen. In een bekend experiment kregen proefpersonen woorden te lezen die met ouderdom te maken hebben (bingo, bejaard, pensioen). Daarna liepen ze net als de gemiddelde senior wat trager.

Een poging dit effect in januari 2012 opnieuw te laten zien, leidde nergens toe en veroorzaakte opschudding binnen de psychologie. Dat Diederik Stapel ook frauduleuze primingstudies op zijn naam had, maakte het niet beter. Kahneman is bang dat het hele onderzoeksgebied in diskrediet raakt.

Onterecht, in zijn ogen, want hij twijfelt er niet aan dat priming een reëel effect is. 'Maar ik zou me beter voelen wanneer de huidige crisis voorbij is.' En dat kan maar op één manier: er moet snel worden overgegaan tot grondige en onafhankelijke bevestiging van de eerder gevonden priming-effecten. Alleen zo kan worden vastgesteld of ze echt zijn.

Dat is gemakkelijker gezegd dan gedaan. Psychologiehoogleraar Ap Dijksterhuis van de Radboud Universiteit in Nijmegen deed in het verleden zelf priming-experimenten en legt uit dat overdoen (repliceren) een kunst op zichzelf is.

Letterlijk de opzet van een ander onderzoek overnemen werkt vaak niet, zeker niet als het uit een ander land komt. Een prime (bijvoorbeeld een stereotype) kan nou eenmaal voor elke onderzoeksgroep en nationaliteit net iets anders betekenen.

Daarom zien de meeste psychologen ervan af een onderzoek te kopiëren, maar ontwerpen ze een vergelijkbaar experiment dat is toegespitst op eigen land en proefpersonen. 'Het is inderdaad moeilijk gebleken om dat experiment naar ouderdom en loopsnelheid over te doen', erkent Dijksterhuis. 'Maar er bestaan wel meerdere studies waaruit blijkt dat omgaan met bejaarden leidt tot een tragere reactie.'

De professor en het blondje

Al met al maakt Dijksterhuis zich niet zoveel zorgen. Priming-effecten zijn meer dan tweehonderd keer gevonden, benadrukt hij, en veel van die effecten lijken tamelijk 'robuust'. Dat mensen die met presteren 'geprimed' zijn beter hun best doen, bijvoorbeeld. Of dat mensen die geprimed zijn met professor hoger scoren op een kennistest dan degenen die geprimed worden met blondje. 'Dat heb ik aangetoond, en het is daarna een keer of zes gerepliceerd. En inderdaad één keertje niet - hoorde ik onlangs via via. Maar dat is echt geen ramp, hoor, als er een keertje iets niet gerepliceerd wordt. Dat kan allerlei oorzaken hebben. Omdat de effecten zo subtiel zijn, kan er gemakkelijk iets fout gaan.'

Replicatieproblemen zijn binnen de psychologie niet uitzonderlijk, vertelt Jelte Wicherts van de Universiteit van Tilburg. Priming is typisch zo'n terrein waar methodologen zoals hij met scepsis naar kijken. 'Kleine steekproeven, een hip en mediageniek onderwerp, en weinig eenheid in wat er precies gemeten wordt. Dat laatste geeft onderzoekers veel vrijheid om net zolang met de gegevens te spelen tot het gewenste resultaat eruit komt.'

Hoe moeten we ons dat voorstellen? Wicherts: 'Je zit als onderzoeker achter je computer, je drukt op de knop en tot je schrik zie je dat het verwachte effect er niet is. Je denkt: de analyse is niet goed. Dus probeer je het met een andere variabele, je kijkt of je dan wel een effect vindt. Achteraf ben je ervan overtuigd dat je altijd al gedacht had dat het juist om die tweede variabele ging. Dat is gewoon menselijk.'

Deze risico's ziet Wicherts ook buiten het priming-onderzoek. Hij geeft als voorbeeld de ontdekking uit 2006 dat mensen die zich schuldig voelen geneigd zijn om - heel Bijbels - vaker hun handen te wassen. Daarover was toentertijd veel ophef: het werd breed uitgemeten in de media. Maar toen een ander team het experiment overdeed met meer proefpersonen, troffen ze het effect niet aan. Science wilde dit vervolgonderzoek niet publiceren: geen effect, dus geen interesse. Wicherts: 'Dat zie je bij heel veel vakbladen. Onderzoekers trekken hun conclusies: als je veel wilt publiceren, moet je dus veel experimenten doen. Studies met een duidelijk effect publiceer je, studies zonder stop je in de bureaula.'

Deze praktijk maakt het heel moeilijk te zeggen welke psychologische effecten toeval zijn en welke echt. Naast priming is volgens Wicherts bijvoorbeeld ook het onderzoek naar onbewuste beslissingen dringend toe aan het betere repliceerwerk. Ook dit is een onderzoeksgebied waarin Dijksterhuis heeft gewerkt. Hij schreef er uitgebreid over in zijn bestseller Het slimme onbewuste.

Het principe is simpel, legt hij uit. Je legt mensen een keuzedilemma voor - bijvoorbeeld tussen twee auto's. De ene helft mag rustig nadenken, de andere wordt afgeleid zodat hun onbewuste aan de slag gaat. Het idee is dat deze laatste groep de betere keuze maakt. 'Dat effect blijkt niet zo robuust', geeft Dijksterhuis toe. 'Je vindt het bij ongeveer de helft van de experimenten, bij de andere vind je geen verschil.'

Erg verontrust is hij wederom niet. 'Ik vind het niet zo'n slechte score, zeker niet voor een gebied dat pas een paar jaar oud is. Als je subtiele effecten onderzoekt, heb je tijd nodig.' Het zou hem niet verbazen als onderzoekers in andere psychologiegebieden een vergelijkbare score halen.

Helft

Die schatting komt aardig overeen met de tweede conclusie die methodoloog Wicherts trekt: in bijna de helft van de psychologische deelgebieden zijn er problemen. Hij keek naar recente of veel geciteerde meta-analyses van uiteenlopende onderwerpen - van de cognitieve ontwikkeling van jonge kinderen tot hoe een psychotherapeut zijn patiënten bejegent. Wicherts: 'In bijna de helft van de analyses waren er aanwijzingen dat de zaken te mooi waren voorgesteld. Niet alleen in de sociale psychologie, maar ook in de ontwikkelingspsychologie, de evolutiepsychologie, de klinische psychologie.'

Het opvallendste deelgebied dat Wicherts over de knie legde, was de invloedrijke implicit association test naar racisme. Daarmee wordt geprobeerd onbewust racisme bloot te leggen. Proefpersonen moeten zo snel en accuraat mogelijk begrippen met elkaar verbinden - bijvoorbeeld blank of zwart met gevaar of veiligheid. Als iemand gevaar gemakkelijker met zwarte mensen associeert dan met blanke, zou dat een teken van racisme zijn.

Maar nu zijn er twijfels: het zou ook kunnen dat een stereotype het gemakkelijker maakt om twee begrippen snel met elkaar in verband te brengen, zonder dat dit iets zegt over vooroordelen. 'Ook hier zie je weer: heel veel kleine experimenten, maar geen grote', zegt Wicherts. 'En veel variabelen, zodat de onderzoekers in de gegevens kunnen blijven grasduinen tot ze het gewenste resultaat hebben. We zien alleen maar de mooie verhalen.'

Dijksterhuis is verheugd dat mensen als Wicherts steeds serieuzer worden genomen. 'Toen de zaak-Stapel begon te spelen, is er een vergrootglas gelegd op ons vakgebied. Zodra een resultaat niet gerepliceerd kon worden, zat er een luchtje aan. Dat vind ik onterecht. We deden ook vóór Stapel al aan zelfreflectie. Sociaal-psychologen hadden nogal eens de neiging om stevige conclusies te trekken op basis van mager bewijs. Ik ook - dat geef ik toe. Het was een beetje onze bedrijfscultuur. Dat hadden we minder moeten doen. Het is in de wetenschap toch vaak: drie stappen vooruit, twee stappen achteruit. Dus ook in de psychologie.'

Primen, doe het zelf

Kille schoonouders op bezoek? Help de sfeer een handje door de verwarming een paar graden hoger te zetten. Er zijn aanwijzingen dat mensen zich in een warme ruimte warmer gedragen.

Televisiereclames voor snacks en snoep werken als primes: ze geven je zonder dat je het door hebt meer zin in iets lekkers.

Wil je mensen ertoe aanzetten wat extra te eten, dan is het een idee om ze voor de maaltijd wat papiergeld te geven. Uit een experiment bleek dat mensen die eerst een stapeltje geld hadden geteld, daarna 50 procent meer aten.

Priming buiten het lab

Als priming-effecten zo subtiel zijn dat ze binnen het lab soms al moeilijk te repliceren zijn, hebben ze dan wel invloed in het dagelijks leven? Ap Dijksterhuis denkt van wel. Dat het effect subtiel is, betekent niet in alle gevallen dat het ook klein is, legt hij uit. Sommige primes hebben juist een aanzienlijk effect op ons gedrag. Maar die effecten zijn kwetsbaar. Wanneer mensen zich heel bewust zijn van zichzelf, of wanneer ze een doel hebben dat tegen een prime ingaat, werkt het al niet meer. Als onderzoeker moet je dus van alles onder controle houden tijdens een experiment. 'Je kunt het vergelijken met een scheikundeproefje. Als je met vervuilde reageerbuizen onderzoek doet, komt er niets uit. Dat ligt niet aan het effect, maar aan problemen met de onderzoeksopzet.'

undefined

Meer over