Het is makkelijk van hieruit te gaan extrapoleren. Mijn naam klinkt ongewoon voor velen in het VK, en is dus zeldzaam; intuïtief volgt daaruit dat namen die ongewoon klinken voor mij ook zeldzaam zijn. Maar die intuïtie kan wel eens mis zijn. Telkens weer wanneer ik de twitternaam opzoek van de auteur van een interessante wetenschappelijke paper, is mijn intuïtie dat er nauwelijks gebruikers zullen zijn met, zeg maar, een bepaalde Chinese of Koreaanse naam – simpelweg omdat Chinese en Koreaanse namen ongewoon zijn in mijn omgeving. En dan stel ik geregeld vast, tot mijn verbazing, dat er tientallen mensen zijn met de naam Ming-Hui Li or Sungsik Park.
Gebruikelijk ongewoon
De aanname dat zaken die ofwel gebruikelijk, ofwel ongewoon zijn voor ons, dat ook zijn in het algemeen is, wel, niet zo ongewoon. U hebt het ongetwijfeld al meegemaakt wanneer u op het internet ergens uw adres moet invullen. In uw eigen land gaat de postcode vooraf aan de woonplaats, maar de ontwerpers van de buitenlandse site hebben hem opgesteld volgens de regels in hun eigen land, en daar komt de postcode achteraan. En het kan erger, zoals voor mensen met een Aziatische familienaam, die botsen op de eis dat die minstens drie lettertekens bevat.
Als u jonge kinderen in de buurt hebt, dan bent u misschien bekend met het tekenfilmfiguurtje Peppa Pig, een charmant meisjesbiggetje dat de wereld ontdekt samen met haar ouders en haar broertje George. In een van de episodes ontmoet ze een spin met de naam Mr Skinnylegs. Peppa is bang van het diertje, maar Papa Big verzekert haar: “Spinnen zijn heel, heel klein zijn, en kunnen je geen kwaad doen”. Dit is prima advies in het VK, waar de serie vandaan komt. Maar toen de episode in 2012 werd uitgezonden in Australië in 2012, diende een kijker een klacht in omdat de spinnen aldaar noch heel, heel klein zijn, noch ongevaarlijk.
De klacht werd ontvankelijk verklaard, en het TV-station verwijderde het van haar online aanbod. Het programma is gericht op kleine kinderen, dus best een redelijk besluit – en de ABC zou deze episode eigenlijk niet hebben mogen vertonen. Maar waren de makers zich ervan bewust dat dit verhaal niet geschikt zou zijn voor landen waar spinnen met grote omzichtigheid moeten worden behandeld? Of hadden ze oogkleppen op, door hun eigen aanname dat je (in hun omgeving) niet bang hoeft te zijn voor spinnen?
Verschillen in aardrijkskundige of sociale context zijn overigens niet de enige reden waarom we kunnen worden meegetroond met een intuïtie die achteraf onjuist blijkt te zijn. Neem bijvoorbeeld deze vraag: vermijdt het screenen voor kanker voortijdige overlijdens? Als de ziekte eerder wordt vastgesteld, kan ze eerder worden behandeld, en veel behandelingen worden minder succesvol naarmate de kanker vergevorderd is. Helder, niet? Dit lijkt bovendien te worden bevestigd door de hogere overlevingsgraad van patiënten die deelnemen aan een screeningprogramma. Maar onze intuïtie zou ons ook hier wel eens kunnen bedotten.
Beeld u een groep van 200 63-jarige vrouwen in, alle met borstkanker. 100 ervan worden doorgelicht, en er wordt een correcte diagnose gesteld. Ze worden behandeld, en twee onder hen overlijden in de volgende 5 jaar. Bij de andere 100 wordt op 65-jarige leeftijd kanker vastgesteld nadat ze een knobbeltje hebben bemerkt in hun borst. Ook zij worden behandeld, en 5 jaar later zijn er 77 overleden. De overlevingsgraad van de vrouwen die werden gescreend is 98%, terwijl die van de vrouwen die geen doorlichting kregen slechts 23% is. Een spectaculair verschil, waarrond de grootste liefdadigheidsinstelling voor borstkanker in de VS zelfs publiciteit maakte.
Licht uw intuïtie door
Hoera voor screening? Niet zo snel. Wat gebeurde er immers in jaar 6 en jaar 7, wanneer ze 69 en 70 waren, met de 98 vrouwen uit de doorgelichte groep die nog in leven waren na 5 jaar? Overleefden ze allemaal ook die twee jaren? De overlevingsgraad zegt ons daar niets over. Als, in ons gedachte-experiment, 75 onder hen zouden overlijden in die twee jaar, dan zou de screening geen enkel effect hebben gehad: in beide groepen begonnen we dan met 100 patiënten van 63, en 7 jaar later zouden er nog 23 in leven zijn, in beide groepen. Nochtans vertoont de ene groep een overlevingsgraad van 98% en de andere slechts 23%.
Statistieken en cijfers geven onmiddellijke geloofwaardigheid aan, wel, aan iets, maar niet noodzakelijk aan onze intuïtie
Wat we hier zien is de zogenaamde lead time bias. Wanneer iemand sowieso zou overlijden ten gevolge van kanker op 70-jarige leeftijd, lijkt het alsof ze langer overleven wanneer de diagnose wordt gesteld op 63-jarige leeftijd dan wanneer dat pas op 65-jarige leeftijd gebeurt.
Toch is onze intuïtie, gesterkt door de overlevingsgraad, dat een vroegere diagnose een meer doeltreffende behandeling, en dus langer overleven betekent. Erger nog, ze geeft ons oogkleppen – wanneer we dit zien, lijkt het niet langer nodig verder te zoeken naar een meting die ons werkelijk vertelt of screening werkt. Wat gebeurt er met het totale aantal mensen die overlijden aan kanker? Als dat daalt, dan is er wellicht een effect. Wat is de gemiddelde leeftijd waarop mensen overlijden aan kanker? Als die toeneemt, dan zijn de mensen weliswaar niet genezen, maar ze leven tenminste langer met de kanker. Wie heeft hier echter behoefte aan, wanneer de data ons comfort en vertrouwen geven, en onze intuïtie bevestigen?
Data kunnen helaas inderdaad het probleem verergeren. Statistieken en cijfers geven onmiddellijke geloofwaardigheid aan, wel, aan iets, maar niet noodzakelijk aan onze intuïtie. Er is een (apocrief?) verhaal uit de Eerste Wereldoorlog, rond de introductie van de Brodiehelm in het Britse leger, die de soldaten een betere bescherming tegen rondvliegende granaatscherven moest bieden. Toen men echter het aantal soldaten die werden binnengebracht met hoofdwonden ging tellen, toonden de data aan dat dit aanzienlijk was gestegen, in plaats van te dalen. Betekende dit dat diegenen die betwijfelden of die nieuwe helmen echt de schedels van de soldaten beter zouden beschermen dan de vilten of leren hoofddeksels gelijk hadden? Welneen. Wat er gebeurde is dat er nu minder soldaten op slag dood waren ten gevolge van hun hoofdwonden, en bijgevolg meer (gewonde) overlevenden.
Een ander klassiek (en waargebeurd) verhaal illustreert een gelijkaardig oogkleppeneffect. Tijdens de Tweede Wereldoorlog zochten de geallieerden naar manieren om zo weinig mogelijk bommenwerpers te verliezen aan vijandig afweergeschut. Onderzoekers hadden de schade die de terugkerende toestellen hadden opgelopen bestudeerd, en hadden aanbevolen dat ze moesten worden verstevigd op die plekken waar de schade het grootst was. Dit was wat hun intuïtie hen vertelde, en wat de data leken te bevestigen: waarom zou je de romp en de vleugels versterken waar er geen schade was? Maar Abraham Wald, een statisticus, hield hen tegen. De kogelgaten, zo legde hij uit, waren precies waar het vliegtuig het sterkst was. Ze waren duidelijk in staat om veilig terug te keren, zelfs met die schade. Het was op de plekken die geen schade hadden dat ze moesten worden verstevigd: de vliegtuigen die daar werden geraakt waren precies diegenen die niet terugkeerden.
Het is goed intuïtie te hebben, maar we moeten opletten dat ze ons geen oogkleppen bezorgt. We mogen dan al overtuigd zijn dat we het antwoord weten en de data hebben ter ondersteuning, maar we gaan best na of dat wel het antwoord is op de juiste vraag. En daarvoor moeten we onze oogkleppen afzetten.
