Dit is een gastbijdrage. Een Apache-lezer levert met dit stuk een bijdrage aan het maatschappelijk debat. De auteur schrijft in eigen naam en is verantwoordelijk voor de inhoud van de tekst.

Een beetje meer perspectief, een beetje meer begrip

Koen Smets
skyscrapers

Wij mensen zijn meer gewend aan het communiceren met woorden dan met getallen. Wanneer we willen aangeven hoe waarschijnlijk iets is of zal zijn, gebruiken we bijvoorbeeld zelden percentages (behalve dan misschien 100%), maar we gebruiken woorden. Altijd, nooit, mogelijk, meestal, zelden, bijna zeker – het is maar een kleine greep uit ons vocabularium.

Dat betekent onvermijdelijk een gebrek aan precisie, vaak wat overdrijving (zoals in het liedje), en zelfs een risico op verkeerde interpretatie. Een waarschijnlijkheid van 25% is hetzelfde voor iedereen, maar is dat ook zo voor termen uit onze mensentaal?

probterms
Uw  ‘waarschijnlijk’ is mijn ‘misschien’

Dit is wat Michael Mauboussin, een professor Financiën aan de Columbia Business School en een expert in hoe geluk en vaardigheid het gedrag van investeerders beïnvloeden, onderzocht, samen met zijn zoon Andrew, een datawetenschapper. Ze creëerden een vragenlijst met 23 probabilistische termen, en vroegen aan de deelnemers welke numerieke kans ze associeerden met elk woord. Zoals de figuur toont liepen die interpretaties nogal uiteen, zelfs voor Altijd en Nooit (als iedereen hetzelfde dacht zou er enkel een verticaal streepje staan).

De afwezigheid van een kwantitatieve basis kan tot verwarring leiden. Dat is ook zo wanneer we het over hoeveelheden of aantallen hebben: hoeveel geld is ‘een hoop’, en hoeveel mensen zijn ‘enkele’? We hebben context nodig, of perspectief.

Een gekwantificeerd perspectief

Daar hebben we overigens net zo goed nood aan voor kwantitatieve informatie. Als u werd verteld dat er in 2018 in België 3.000 meer gevallen waren van borstkanker dan in 2017, zou u dan weten of dat een heel gewone schommeling is, of een zorgwekkende trend? Wat als u hoorde dat het VK zijn totale koolstofuitstoot had verminderd met 1,8 miljoen ton tussen 2018 en 2019 – is dat veel of weinig?

Er zijn hopen (!) getallen in het nieuws (én hopen vage woorden), maar ze mankeren vaak de nodige context die ons helpt ze te begrijpen. We moeten in staat zijn om die getallen te vergelijken met iets anders – en niet om het even wat. Beeld u een bericht in waarin staat dat Microsoft in 2018 35 miljard dollar winst maakte. (Zelfs in euro – ongeveer 30 miljard – zegt dat niet veel meer.)

35 miljard is een reusachtig getal. Als je zou willen aantonen dat het ‘overdreven’ is, dan hoef je niets meer te doen – zo’n grote winst is toch gewoon krankzinnig? Als je er een schepje bovenop zou willen doen, dan kun je aangeven dat dit equivalent is met 4 miljoen winst per minuut, of met het salaris van een miljoen verpleegkundigen, of met de bouwkost van 800 scholen. Maar niets van dit alles geeft veel duiding. Het is een beetje als zeggen dat als alle mensen op aarde schouder aan schouder zouden staan, je een rij zou hebben die vijf keer van hier tot de maan en terug zou uitstrekken. En wat dan nog?

Een recent paper stelt een mechanisme voor om een degelijk perspectief te geven aan numerieke data in de media, en beschrijft welk effect dat kan hebben op ons. Onderzoekers Pablo Barrio, een computerwetenschapper aan de Columbia University, en Dan Goldstein, een cognitieve psycholoog en Jake Hofman, een fysicus, beide bij Microsoft Research begonnen met 10 perspectiefsjablonen (bv. “ongeveer X keer groter dan Y”, of “ongeveer X% van de Y van Z”). Dit liet hen toe perspectieven te beschrijven als ‘een miljoen mensen zijn dakloos na een storm in Honduras, ongeveer 12% van de bevolking van het land’ (dus hier is X=12, Y=bevolking, en Z=Honduras).

perspectives
bron: Improving Comprehension of Numbers in the News

Vervolgens huurden ze 80 personen in via Amazons Mechanical Turk platform om 370 perspectieven te produceren gebaseerd op 64 citaten uit de New York Times. Aansluitend beoordeelden deze dan de perspectieven die hun collega’s hadden gegenereerd.

Tenslotte legden de onderzoekers 12 citaten (elk ofwel met het hoogst gewaardeerde perspectief, of zonder perspectief) voor aan de deelnemers, waarna ze hen vroegen zich het betrokken getal te herinneren, een ontbrekend getal te schatten, of te detecteren of het getal was veranderd. In elk van deze drie experimenten stelden ze vast dat de perspectieven tot een beter begrip hadden geleid. Mét een perspectief konden de deelnemers zich de helft van de getallen herinneren, zonder was dat maar een derde. Evenzo was het met het schatten van ontbrekende getallen: 39% van de schattingen was binnen de 10% van het werkelijke getal mét, en slechts 33% zonder perspectief. En wanneer het aankwam op het bemerken van fouten, waren deelnemers die een perspectief hadden gezien beter bij de meeste citaten (gemiddeld 3,2% met een piek van 15%).

Op zoek naar de juiste analogie

Een volgende paper door Christopher Riederer (toentertijd een doctoraatsstudent aan Columbia University) en hetzelfde Microsoftteam gaat verder op deze denkpiste. Ze gaan in op de vraag wat nu precies een bepaald perspectief nuttig maakt, aan de hand van experimenten rond geografische gegevens. Een Amerikaanse lezer die geconfronteerd wordt met de oppervlakte van Pakistan (880,000 km2) zou een beter beeld hebben als dit vergeleken werd met een Amerikaanse staat. Maar wat zou beter zijn – tweemaal de oppervlakte van Californië, of tien keer de oppervlakte van South Carolina? Zou een Europeaan meer hebben aan tweemaal de oppervlakte van Zweden, of aan 45 keer de oppervlakte van Wales?

Aan de deelnemers in hun eerste experiment werd gevraagd de bevolking van een land te schatten, met een van de Amerikaanse staten als referentie. Meer bekende referentiepunten en simpele schaalfactoren (bv. tweemaal de oppervlakte van Californië) bleken het beste te werken, zelfs als andere alternatieven meer accuraat waren (bv. tweemaal de oppervlakte van Montana, of vijf keer groter dan Georgia).

angola
Hoeveel mensen wonen hier eigenlijk? bron: d-maps.com

In een tweede experiment werden deelnemers willekeurig ingedeeld in vier groepen met verschillende perspectieven, en werd hen gevraagd de oppervlakte of bevolking van een specifiek land te schatten. De vier perspectieven waren: (1) diegenen die het beste hadden gewerkt in het eerste experiment (bv. de bevolking van Angola is ongeveer even groot als die van New York); (2) hun eigen staat (…3,9 keer die van Minnesota); (3) de meest accurate benadering (…ongeveer 10 keer die van New Mexico); en (4) een perspectief dat er even accuraat was als dat in de eerste groep, maar met een minder voor de hand liggende staat of schaalfactor (…ongeveer vijf keer die van Oregon). Er was ook een controlegroep waarin geen perspectief werd gegeven. Alle vier de perspectieven leidden tot beduidend betere schattingen dan de controlegroep (en zoals kon worden voorspeld, scoorde de eerste conditie het hoogst).

Het laatste experiment peilde ernaar hoe lang dat betere begrip duurde. De onderzoekers contacteerden de deelnemers van het tweede experiment zes weken later, en vroegen hen de bevolking en de oppervlakte van hetzelfde land als voorheen te schatten – maar deze keer zonder perspectief. De verbetering bleek stand te houden, wat erop zou wijzen dat perspectieven een blijvend effect kunnen hebben op het begrip van numerieke gegevens.

Een perspectief voor iedereen?

U vindt een restaurant met een ‘hygiënescore’ van 85/100. Als resultaat voor uw Masterproef zou dat u zeker blij maken, maar is dat een goede, middelmatige of slechte score voor de netheid van een restaurant?

Je ziet meteen hoe dit wijder zou kunnen worden toegepast. Je kunt je een plug-in voor je browser voorstellen die, wanneer je de cursor over een getal plaatst in een online tekst, meteen een pop-up met een betekenisvol perspectief toont, dat bijvoorbeeld bepaalde staatsuitgaven vergelijkt met de totale belastinginkomsten of het BBP. Het zou ook een functie kunnen worden in programma’s voor het maken van documenten of presentaties, die perspectieven suggereert terwijl je aan het werk bent.

Maar natuurlijk zijn er nogal wat situaties waar we alleen staan. Stel u voor dat u in een stad bent waar u nooit eerder bent geweest, op zoek naar ergens om een hapje te eten. U vindt een restaurant niet ver van uw hotel dat er best OK uitziet, met een ‘hygiënescore’ van 85/100. Als resultaat voor uw Masterproef zou dat u zeker blij maken, maar is dat een goede, middelmatige of slechte score voor de netheid van een restaurant? Betekent het dat de inspecteurs een haar vonden op de rand van de vuilnisbak, in plaats van erin? Of dat er verse rattenuitwerpselen op het aanrecht werden aangetroffen? We hebben een perspectief nodig.

Dan Goldstein vertelde me dat wat hier zou helpen is de conversie van die betekenisloze score naar een percentielscore: ongeacht de redenen waarom het resultaat niet 100/100 is, zou een restaurant dat in de top-15% schoonste zit wel OK zijn. Je zou de score ook kunnen vergelijken met die van een gemiddeld MacDonald’s restaurant – de meeste mensen kunnen zich daar wel iets bij voorstellen.

In de afwezigheid van zulke perspectieven moeten we echter voorzichtig zijn. Wat we kunnen doen is erkennen dat we niet echt weten wat een getal betekent, en erover waken dat we er geen hanteren dat ongepast is. En zelfs wanneer er een perspectief wordt gegeven, is het goed een kritisch oog te bewaren – maar dat is natuurlijk een goede raad in het algemeen.