Dit is een gastbijdrage. Een Apache-lezer levert met dit stuk een bijdrage aan het maatschappelijk debat. De auteur schrijft in eigen naam en is verantwoordelijk voor de inhoud van de tekst.

Met gegevens kan je valsspelen, maar niet met de waarheid

27 augustus 2021 Koen Smets
Zoektocht naar de waarheid
(Emily Morter (Unsplash))

Het betreft een studie uit 2012, die aan de hand van twee laboratoriumexperimenten en een veldexperiment suggereerde dat, wanneer je mensen vraagt een verklaring van eerlijkheid bovenaan een formulier te ondertekenen (eerder dan, zoals gewoonlijk, onderaan), ze dat formulier meer waarheidsgetrouw invullen. In de labexperimenten kregen studenten bijvoorbeeld geld naargelang het aantal voltooide raadsels dat ze op een formulier aangaven. Het experiment was zo opgezet dat het mogelijk leek voor de deelnemers om hun prestaties onopgemerkt te overdrijven (in werkelijkheid konden de onderzoekers hun geclaimde resultaten met de werkelijke prestaties vergelijken). In het veldexperiment meldden de klanten van een verzekeringsmaatschappij de stand van de kilometerteller van hun auto(s). In beide gevallen was de informatie die de deelnemers verstrekten meer waarheidsgetrouw (minder voltooide puzzels, een hogere kilometerstand) wanneer de eerlijkheidsverklaring bovenaan het formulier stond.

Op 17 augustus publiceerde Datacolada, een website gewijd aan het kritisch beoordelen van gedragswetenschappelijk onderzoek, een artikel waaruit bleek dat de data van het voorgaande veldexperiment met de verzekering zo goed als zeker verzonnen waren. Het stuk is een mooi staaltje van forensische data-analyse. De auteurs stemden in met de bevindingen van Datacolada. Een van hen is Dan Ariely, zeer bekend in academische kringen en ver daarbuiten dankzij boeken als Predictably Irrational en, ironisch genoeg, The honest truth about dishonesty.

Onderzoek
Een screenshot van de eerste pagina van het gedragsonderzoek. Misschien hadden de onderzoekers beter bovenaan getekend? (PNAS)

Een interessante draai in dit verhaal is dat de gegevens in kwestie pas in 2020 werden vrijgegeven, toen een paper werd gepubliceerd door een team van zeven, onder wie de vijf auteurs van de originele studie. Hierin werden de twee labexperimenten opnieuw uitgevoerd en de conclusie was dat bovenaan tekenen oneerlijkheid niet vermindert. De originele paper zal nu worden herroepen. Men zou kunnen stellen dat de praktische betekenis van de fraude uiteindelijk beperkt is, omdat naderhand de originele bevindingen niet konden worden ontkend noch bevestigd. Desondanks levert deze affaire nuttige algemene inzichten – niet enkel voor academici, maar voor ons allemaal.

Het werk, niet de persoon

De reacties op de ontdekking waren gevarieerd. Naast genuanceerde en constructieve oproepen tot een grondig onderzoek naar wat misliep en waarom, zodat gelijkaardige situaties kunnen worden vermeden in de toekomst, waren er ook minder genuanceerde. Dan Ariely schuwt de schijnwerpers niet, en hij is bijzonder populair bij de leden van de snelgroeiende gemeenschap van gedragswetenschappers en -specialisten. Dat zorgde bij sommigen voor leedvermaak; Ariely zou te  té populair voor zijn eigen goed en nu van zijn voetstuk vallen. Anderen zagen in de studie een gelegenheid om kritiek te spuien op het hele vakgebied van de gedragseconomie, want dat zien ze als verslaafd aan hype en sensationele voorbeelden van onze zogenaamde irrationaliteit. Beide reacties zijn zelf voorbeelden van de denkneigingen die we allemaal in mindere of meerdere mate vertonen. Als we een persoon (of een zaak) niet goed gezind zijn, dan zullen we algauw negatieve informatie rond hem of haar versterken en die zien als een bevestiging van onze opinie.

De identiteit van een persoon die betrokken is in dubieuze praktijken zou niet ter zake mogen doen, maar de emotionele banden met een persoon kunnen ons oordeel vertroebelen: we lopen vooruit op de zaken (ten voordele of ten nadele van de betrokkene) en hechten te snel geloof aan oppervlakkige speculatie die in onze kraam past.

Mensen reageren op prikkels

Wanneer wanpraktijken worden ontdekt in de academische wereld, komen ook perverse prikkels aan de oppervlakte. Wetenschappelijke tijdschriften publiceren zelden nulresultaten en vereisen bijna altijd dat onderzoek een positief resultaat oplevert. Wie een wetenschappelijke carrière op het oog heeft moet veel publiceren, en dan is de verleiding reëel om de cijfers wat te masseren, om niet al te toegewijd te zijn in het checken van de data, en soms zelfs gegevens te verzinnen. Bovendien leveren sensationele bevindingen de onderzoeker status en roem, wat een prikkel kan zijn die het gedrag beïnvloedt. Andrew Gelman, een bekend kritisch statisticus, verwijst naar het (Lance) Armstrong-principe: “Als je iemand ertoe aanzet meer te beloven dan ze kunnen leveren, dan hebben ze een motief om te sjoemelen.”

Het Armstrong-principe
Het Armstrong-principe: Als je iemand ertoe aanzet meer te beloven dan ze kunnen leveren, hebben ze een motief om te sjoemelen. (CC BY NC ND 2.0 Milan (Flickr))

Ariely liet naar eigen zeggen na de data te checken op onregelmatigheden. Het zou kunnen dat het nazien van gegevens die door derden worden geleverd werd beschouwd als een taak van lage prioriteit die kon worden overgeslagen, maar dat verzuim was mogelijk ook gemotiveerd door de wens een succesvol onderzoek te kunnen publiceren. Verhoopt succes is een krachtige prikkel.

Het probleem met een gewenste waarheid

Als de analyse van de gegevens datgene bevestigt waarvan we al overtuigd zijn, dan is het zeer menselijk niet zo kritisch te zijn, noch ten opzichte van de data, noch van de analyse. Naast confirmation bias zijn er tal van andere verwante neigingen die ons kunnen aanmoedigen niet zo doortastend te zijn als zou moeten – wishful thinking, selection bias, optimism bias, escalation of commitment en meer – en die allemaal de prikkels versterken die we al hebben om koers te zetten naar een positief resultaat, in academisch onderzoek, op het werk, of thuis.

Maar misschien is de grootste uitdaging wel dat we zo vaak een paard in de wedstrijd hebben, dat we een voorkeur hebben voor een welbepaald resultaat. Als we op zoek zijn naar de waarheid we ons niet te bekommeren om de uitkomst. Wat telt is dat we de waarheid achterhalen, wat ze ook is – daar zit de waarde. Als we ons te zeer gaan hechten aan een zekere theorie of bewering, wordt het moeilijk onbevooroordeeld te blijven doorheen het hele proces – van het formuleren van het probleem of de onderzoeksvraag en het plannen van de aanpak of het ontwerpen van het experiment, tot de uitvoer ervan en het verzamelen en analyseren van de data en het trekken van conclusies.

We kunnen niet hopen de waarheid te vinden als we een voorkeur hebben voor wat de waarheid zou moeten zijn.

LEES OOK
1 REACTIE
Alexander Van Heuverzwyn28-08-2021 10:39:50
Betrouwbaarheid is een perfect zinnig begrip. Op basis van een heuristiek met ervaringen, verwante gevallen, associaties gaan we bron A als betrouwbaarder gaan behandelen als bron B, wat inhoudt dat we bron A minder gaan verifieren. Dat is een veel betere strategie dan de strategie van 'oneindig budget' waar we alles aan extreme controles onderwerpen voor we er iets mee aanvangen. Dat is geen 'vertroebelen' van ons oordeel. Het is binnen dat framework dat we kunnen sleutelen: te veel vertrouwen hebben, te grote vatbaarheid voor misbruik, nood aan strengere controle op sleutelpunten.
Iets waar we slecht in scoren is dat eens de reputatie van een slechterik is vastgesteld, daar alles over kan beweerd worden en het wordt zonder enige weerstand aangenomen, wat ieder die er misbruik van wil maken ook meteen doorheeft.
Saddam is slecht dus nemen we gemakkelijk aan dat hij in het geniep gigantische hopen WMD maakt. Assad is slecht dus bombardeert hij om de gekste redenen met sarin. Lukashenko is slecht dus haalt hij zomaar een lijnvliegtuig uit de lucht om een tegenstander te pakken.

We moeten vooral veel meer een zachtere rolloff gebruiken om het in luidsprekertermen te zeggen: niet 'alles of niets' oordelen . In een strafrechtelijke zaak tracht men die factor betrouwbaarheid te negeren of op zijn minst te dempen. De peer review bij een wetenschappelijke publicatie zou dat in principe ook moeten doen. Men voelt wel meteen dat wanneer het budget en de motivatie beperkt is men wat selectiever wordt in verificatie en dan komt betrouwbaarheid er meteen weer in.
Ik denk dat de peer review bij wetenschappelijke publicaties problemen heeft.