Vaak gaat het, wanneer we denken, om het oplossen van onzekerheid. Dat is beslist het geval wanneer we speculeren over wat de toekomst zal brengen – wanneer we voorspellen, met andere woorden. Sommigen doen dit voor de kost: ze zeggen ons welk weer het zal zijn, hoe de economie zal presteren of wie de volgende verkiezingen zal winnen.
Anderen doen het als deel van hun job, waarin ze aanspraak maken op een zekere deskundigheid. De laatste maanden hebben we vaak de kans gehad om de voorspellingen te horen van flink wat van zulke experten en commentatoren, over de verwachte aantallen Covid-19-doden, het aantal ziekenhuisopnames, de bezettingsgraad van de intensievezorgbedden en de effecten van de maatregelen op de economie en het onderwijs.
Abominabele profeten
En we doen er zelf natuurlijk ook aan. We pronostikeren privé vast ook wel eens over het weer, de economie, politiek of pandemie, maar daarnaast hebben we vaak eveneens uitgesproken meningen over welke voetbalploeg bovenaan het klassement zal eindigen aan het eind van het seizoen, of wie de winnaars worden van Dancing with the Stars; we gissen wanneer we promotie zullen krijgen op het werk, hoe lang het huwelijk van een pasgetrouwde BV zal standhouden en zo verder.
De meesten onder ons – met inbegrip van experts en commentatoren – zijn er opmerkelijk slecht in, en we worden er ook niet beter in met de tijd. Maar er is één categorie van mensen die uitblinkt in het systematisch produceren van relatief accurate voorspellingen: de zogenaamde supervoorspellers. De term is verbonden met het Good Judgement Project. Dit is een programma om de persoonlijkheid en de gedragskenmerken te bestuderen van personen die vaardig zijn in het voorspellen, opgezet in 2011 aan de universiteit van Pennsylvania door psycholoog (en medeauteur van Superforcasting) Philip Tetlock en collega’s.
Als deelnemer aan een Good Judgment Open-toernooi eerder dit jaar had ik de kans als amateur te ervaren hoe supervoorspellen in zijn werk gaat, en mijn eigen voorspellingen te maken omtrent de Covid-19-pandemie toen ze zich begon te verspreiden over de planeet. (Ik was erg blij en ook een beetje trots in de top tien te eindigen.)
Eén manier waarop supervoorspellers verschillen van de meeste andere mensen is dat ze denken in gekwantificeerde waarschijnlijkheden – een concept dat Annie Duke uitgebreid beschrijft in Thinking in Bets. Eerder dan een antwoord te geven op de vraag ‘hoeveel mensen zullen in totaal zijn overleden aan Covid-19 in Japan op 15 juli 2020?’, beantwoorden ze de vraag ‘wat is de kans dat het aantal Covid-19-doden in Japan op 15 juli 2020 tussen 800 en 1000 zal zijn?’. Er zijn verschillende categorieën (bijvoorbeeld minder dan 500, 500-799, en meer dan 1000), en aan elke categorie wijs je een kans toe, zodat het totaal 100% is.
Een voorspelling voelt als een investering. Dat maakt het moeilijk om ze te herzien zonder het als een verlies te ervaren
Dat is een heel andere manier van voorspellen dan ‘het aantal doden zou wel eens tot X kunnen oplopen’, of ‘ik verwacht dat het aantal doden tussen Y en Z zal liggen’, vaak zonder er een datum bij te vermelden. Wanneer je als aspirant supervoorspeller het vertrouwen in je voorspelling moet kwantificeren, ga je beslist je antwoorden beter overwegen, en meer expliciet over je aannames nadenken.
Geen band met een schatting
Voor mij is de fundamentele betekenis van het voorspellen op deze manier dat je geen verbondenheid voelt met een bepaalde uitkomst. Wanneer commentatoren en experten voorspellingen maken, schept het uitdrukken van slechts een bepaald resultaat net wel zo’n band, zelfs als ze een interval of een maximum of minimum aangeven.
Zo’n voorspelling voelt als een investering. En dat maakt het moeilijk om ze te herzien zonder het als een verlies te ervaren, en een aantasting van je geloofwaardigheid in de ogen van anderen (en in je eigen ogen). Dit doet sterk denken aan de ‘denkfout van de verzonken kosten’ – je houdt vast aan je voorspelling omdat je erin hebt geïnvesteerd. Dat is een eerste valkuil.
Supervoorspellers, omdat ze geen band voelen met welke uitkomst ook, hebben er geen probleem mee rekening te houden met nieuwe inzichten en op basis ervan hun schattingen aan te passen. Ze hebben er alle vertrouwen in dat hun voorspelling precies daardoor nauwkeuriger wordt. Politici, commentatoren en experten, en eigenlijk wij allemaal zwichten wel eens voor de verleiding belangstelling te wekken door een sensationele voorspelling (een situatie die mij ook niet vreemd is, geef ik ootmoedig toe), maar daarvan vind je niets terug bij supervoorspellers. Je voorspelling bijstellen geeft hoegenaamd niet de indruk dat je verkeerd zat en terugkrabbelt, laat staan dat je gezichtsverlies lijdt. Je past ze aan omdat je begaan bent met de nauwkeurigheid van je schatting.
Terugblikken om te leren
Wanneer de einddatum wordt bereikt, zijn supervoorspellers er niet zozeer in geïnteresseerd hoe dicht hun laatste voorspelling bij de werkelijke uitkomst ligt, maar vooral in hoe hun schatting over de tijd evolueerde. Was er een plotse sprong? Waren ze laat in het rekening houden met nieuwe feiten? Hadden ze een bepaalde invloed overschat? Dit soort analyse laat hen toe hun vaardigheden verder aan te scherpen en beter te worden in het verzamelen, interpreteren en afwegen van nieuwe gegevens, en in het beheersen van de biases die ze met ons allemaal delen.
En hier ligt de tweede valkuil die gewone stervelingen over het hoofd zien: hindsight bias, het misbruik van informatie achteraf. Wanneer zij zien dat hun voorspelling ernaast zit – dat wordt meestal al gauw duidelijk – hebben ze de neiging meteen met verklaringen (als het al geen excuses zijn) op de proppen te komen. Als ze dit of dat hadden kunnen weten, als deze onverwachte gebeurtenis niet had plaatsgevonden of als gene niet voorziene ingreep niet was gemaakt, dan zouden ze er nog steeds boenk op zitten. Dit maakt het hen mogelijk, met behulp van de kennis achteraf, met terugwerkende kracht hun originele schatting aan te passen zonder te moeten toegeven dat ze verkeerd was, en de overtuiging te handhaven dat ze er toch heel dichtbij zaten.
Voor wie geluk heeft, en wiens oorspronkelijke schatting werkelijk nauwkeurig blijkt te zijn, is zo’n resultaat natuurlijk een rechtvaardiging van superieure intuïtie, eerder dan van de methode waarop ze tot die schatting kwamen. Annie Duke noemt dit fenomeen ‘resulting’. Zo kunnen amateur, expert en commentator, ongeacht hun voorspelling, prat gaan op hun trefzekere inzicht en hun geloofwaardigheid in ere houden. En in tegenstelling tot de supervoorspellers leren ze geen bal.
Meer dan voorspellen
Deze twee valkuilen zien we niet enkel bij het maken van voorspellingen, maar overal waar we proberen onzekerheid op te lossen en een beslissing te maken. Moeten we onze auto nu maar vervangen, of houden we hem best nog een jaartje? Zouden we die behanger inhuren die onze schoonbroer ons aanbeveelt?
Ook hier hebben we immers een keuze. We kunnen enerzijds vertrekken van een voorbarige conclusie gebaseerd op ons buikgevoel en daaraan vasthouden, of anderzijds de methodes van supervoorspellers volgen.
We kunnen systematisch de mogelijkheden overwegen, kansen inschatten waar dat helpt, bewijsmateriaal verzamelen en ons oordeel aanpassen al naargelang. En we kunnen onze methodes herzien telkens we ze gebruiken, en leren van wat we goed, en minder goed deden.
Een van deze twee benaderingen voorziet ons van superdenkvermogens. U weet vast dewelke.
