De studie (zonder betaalmuur) werd uitgevoerd door Dr. Franz Messerli, een Zwitsers cardioloog, en gepubliceerd in 2012 in het New England Journal of Medicine. Ze analyseerde 23 landen en stelde een sterke correlatie vast (r=0,791) tussen de hoeveelheid chocolade die de bevolking van een land verorbert, en het aantal Nobellaureaten dat het heeft voortgebracht. (De correlatiecoëfficiënt r is 0 voor totaal willekeurige, niet gecorreleerde gegevens, en 1 voor een perfecte correlatie.) Wanneer uitschieter Zweden buiten beschouwing wordt gelaten schiet de correlatie nog verder naar boven (r=0,862). Om één extra Nobelprijswinnaar te produceren zou elke inwoner van een land een extra 400g chocolade per jaar moeten eten – een kleine opoffering voor wat meer nationale trots, toch?
Gefopt door ernst
De studie heeft alle kenmerken van wat je vindt op de Spurious Correlations website, bijvoorbeeld de correlatie tussen de kaasconsumptie in de VS, en het aantal mensen dat om het leven komt door verstrengeling in hun lakens. Het feit dat de auteur uit Zwitserland komt (een belangrijk producent van kwaliteitschocolade, en een natie van consumenten – ze eten er meer van dan wie ook, zo’n 12 kilo per persoon per jaar) draagt verder bij tot het vermoeden dat het hier om een grap gaat.
Dat is ook wat Daniël Lakens, een psycholoog aan de Technische Universiteit van Eindhoven en een gerespecteerd expert in de statistiek, dacht. Op 22 oktober tweette hij een link naar de studie met de vermelding dat het een humoristisch voorbeeld is van hoe correlatie niet hetzelfde is als causaliteit. Maar minder dan 24 uur later tweette hij: “Dedju, ik was mis – dit artikel was wel degelijk ernstig”, en citeerde twee collega’s die hem op zijn vergissing hadden gewezen. De studie ziet er inderdaad best serieus uit. Ze schuift een degelijke hypothese naar voren: men heeft aangetoond dat chocolade de cognitieve functie verbetert, en ze suggereert ook een potentieel omgekeerd oorzakelijk verband (slimme mensen weten dat chocolade goed is voor de hersenen, en dus eten ze meer chocolade).
Een van de collega’s had, net een week eerder, de paper aan haar studenten gegeven als een ernstige studie, en de andere had toentertijd in 2012 een reactie geschreven met serieuze kritiek. “Het leek onwaarschijnlijk dat een vakblad met zulke veeleisende standaarden ruimte zou bieden aan een lichtgewicht stuk over chocolade”, schreef hij. En toch…
Enkele uren na zijn tweet waarin hij dacht dat de studie ernstig was, gaf Lakens toe dat het “waarschijnlijk toch een grap was”. Hij citeerde een artikel van Reuters uit 2012 waaruit bleek dat de ‘studie’ inderdaad niet serieus was bedoeld. Messerli was op de idee gekomen nadat hij had gelezen over onderzoek dat flavonoïden, een antioxidant dat wordt aangetroffen in chocolade en wijn, in verband bracht met betere resultaten op cognitieve tests. Wat later, toen hij niets anders te doen had op een hotelkamer in Katmandoe, schreef hij het allemaal neer.
Deze amusante anekdote levert enkele interessante inzichten. Eerst en vooral is er de observatie dat correlatie niet alleen niet betekent dat er ook causaliteit is, maar ook gewoon helemaal niets kan betekenen. De p-waarde – een statistieke indicator voor de waarschijnlijkheid dat iets door toeval kan gebeuren – was 0,0001 voor de studie van Messerli, of een kans van minder dan 1 op 10.000. Als je weet dat een p-waarde van minder dan 0,05 wordt beschouwd als statistisch significant, dan kun je je afvragen hoeveel vertrouwen we mogen stellen in wetenschappelijke resultaten in het algemeen.
Maar ze benadrukt ook hoe we heuristieken, mentale vuistregeltjes, gebruiken om na te gaan of iets betrouwbaar is of niet. We hechten nogal wat belang aan autoriteit. Het NEJM is een zeer gerespecteerd blad, dat niet bekend staat voor frivole artikels, en ingezonden stukken moeten aan hoge eisen voldoen om te worden geaccepteerd. Dr. Messerli is een autoriteit op het gebied van hoge bloeddruk met meer dan 800 publicaties. Het artikel citeert relevante andere studies. Als dit alles ons vertrekpunt is, dan zijn noch de onwaarschijnlijke resultaten en conclusies, noch de belangenverklaring onder het artikel, “Dr. Messerli meldt dat hij dagelijks chocolade consumeert, vooral maar niet exclusief in de vorm van zwarte chocolade van Lindt” voldoende om ons te laten twijfelen aan de ernst van de beweringen.
Maar kom, het ergste dat kan gebeuren als je per ongeluk een satirisch stuk als authentiek beschouwt, is dat je jezelf een beetje belachelijk maakt, en daar is geen been aan gebroken. Dat is echter niet altijd het geval.
Een nepgevangenis(experiment)
Een van de meest bekende psychologische experimenten is het Stanford Prison Experiment (SPE), uitgevoerd in 1971 door onderzoekers onder leiding van psycholoog Philip Zimbardo aan de, u raadt het al, universiteit van Stanford. 24 student-vrijwilligers werden willekeurig in twee groepen verdeeld, twaalf ‘gevangenen’ en twaalf ‘cipiers’. Het was erg realistisch opgevat, met o.m. nagebouwde cellen in de kelder van een universiteitsgebouw, emmers als sanitair, en slecht zittende kielen voor de gevangenen. Ook de studenten die cipier speelden kregen aangepaste attributen (kaki hemden en broeken, wapenstokken enz.) En kort na het begin van het experiment bleken de ‘cipiers’ spontaan hun rol ten volle te gaan omarmen, en werd hun gedrag ten opzichte van de ‘gedetineerden’ almaar grover, tot zelfs mentale foltering en fysiek geweld toe.
Volgens Zimbardo was het de situatie eerder dan de dispositie van de ‘cipiers’ (hun inherente karaktertrekken) die de oorzaak was van hun brutale gedrag. Later zou hij schrijven in een artikel voor Stanford Magazine: “Normale mensen kunnen zich op pathologische wijze gedragen, zelfs zonder de externe druk van de autoriteit van de experimentator.” Normale jonge mannen (velen onder hen waren uitgesproken pacifisten) werden vijandig en sadistisch, en mishandelden anderen in woord en daad – enkel en alleen omdat ze de rol van cipier speelden. De “simulatie moest worden afgebroken na zes dagen omdat de onmenselijkheid van de ‘boosaardige situatie’ compleet de menselijkheid van de ‘goede’ deelnemers was komen te domineren.”
Er waren weliswaar vragen rond het experiment toentertijd, zowel rond de ethische aspecten als rond de zorgvuldigheid, maar toch kreeg het grootschalige media-aandacht, en werd het opgenomen in talrijke tekstboeken Psychologie. Zimbardo werd een bekendheid en verwierf zo ook aanzienlijke autoriteit.
Alles was echter niet wat het leek. Zimbardo bleek, in tegenstelling tot zijn bewering, wel degelijk een actieve rol te hebben gespeeld (als ‘gevangenisdirecteur’), en zijn assistenten hadden het autoritaire gedrag van de pseudocipiers aangemoedigd. Er was twijfel over de selectie van de deelnemers en de nauwkeurigheid van de screening voor psychologische afwijkingen. Slechts drie van de cipiers hadden zich blijkbaar buitenmatig grof gedragen.
Desondanks bleef (en blijft) de studie prominent aanwezig in handboeken – veelal zonder enige kritische kanttekening, zoals een paper uit 2015 van psycholoog Jared Bartels beschrijft. Thibault Le Texier, een onderzoeker aan de universiteit van Nice, nam niet enkel de academische historiek rond het experiment onder de loep (publicaties van Zimbardo en van critici over de jaren heen), maar ook de uitgebreide archieven van het experiment zelf. Bovendien interviewde hij 15 voormalige deelnemers. Zijn uitgebreide studie laat nauwelijks iets overeind van de conclusies van het originele experiment, en ontmaskert het als nep en fradulent.
De verleiding van autoriteit
Hoe kan het, met al wat men destijds wist (en had kunnen weten), dat het SPE zo lang van een status heeft genoten (en nog steeds geniet) die het helemaal niet verdient? Eén factor is wellicht, net als met de nepstudie rond chocolade en Nobelprijzen, de veronderstelling van autoriteit. Het vakblad waarin deze studie verscheen heeft een stevige reputatie, net als de inleidende tekstboeken in de ogen van studenten psychologie. Zulke publicaties bezitten een impliciet keurmerk. En zoals we zagen, kan onze veronderstelling verkeerd zijn.
Maar er is een andere waarschijnlijke reden, die een stuk meer verontrustend is.
Het SPE ‘bewijst’ immers iets wat velen graag geloven. In een interview met Julia Galef voor de Rationally Speaking podcast citeert Thibault Le Texier een New York Times artikel uit 2018. Daarin wordt beweerd dat het weerleggen van studies die “klassiekers zijn geworden – en wereldberoemd buiten het psychologische vakgebied” wat anders is dan het ontkrachten van meer obscure experimenten, want “ze dramatiseren iets wat mensen in zichzelf herkennen”. Ze zijn “metaforen, verklaringen voor aspecten van ons gedrag waarvan we voelen dat ze waar zijn.”
We mogen dan misschien verrast (of zelfs geschokt) zijn dat dit standpunt – vergeet de wetenschap, we voelen gewoon dat het waar is – wordt gepropageerd door een kwaliteitskrant. Maar het stuk verwoordt in de ondertitel enkel wat een wijdverspreid gevoel is: “Vele beroemde studies rond menselijk gedrag kunnen niet worden gereproduceerd. Maar toch leggen ze aspecten van ons innerlijke leven bloot die als waar worden aangevoeld.” Soms moet wetenschap de duimen leggen voor wat we aanvoelen als waarheid.
Uiteindelijk moeten we ons misschien niet zo’n zorgen maken over het feit dat we wel eens de autoriteit van mensen, publicaties of instituties verkeerd kunnen inschatten. Wat veel zorgwekkender is, is het gemak waarmee we buigen voor de autoriteit van onze eigen, niet op enig bewijs berustende overtuigingen.
(Uitgelichte afbeelding: CC BY - Marcia O’Connor)
