Politieke peiling en Madame Blanche-journalistiek

Frederik Debrabandere
(Foto Cogdogblog)
(Foto Cogdogblog)
(Foto Cogdogblog)
(Foto Cogdogblog)

Of toch niet? Het is een open deur dat politieke peilingen al langer dan vandaag onder vuur liggen. Waarom ze dan steeds opnieuw intrappen? Wel, omdat het gechargeer met de resultaten ervan niet zo onschuldig is als het lijkt. De relatieve verschillen tussen partijen en politici worden steevast absolute verschillen, terwijl een oorzakelijk verband wordt geforceerd tussen de populariteitsscore van een politicus en de score van een partij. Aansluitend worden ook nog eens motieven uitgevonden om de keuze voor de ene of de andere politicus/politica te verantwoorden. De betwistbare conclusies die daaruit voortvloeien sturen vervolgens het politieke discours van partijen en politici. Terwijl die conclusies hoogst twijfelachtig zijn en doorgaans volledig uit de lucht gegrepen.

Foutenmarge

Eén van de parameters om de betrouwbaarheid van politieke peilingen in te schatten is de foutenmarge van de resultaten. Bij de meeste peilingen wordt die meegegeven in een soort van disclaimer, maar afgelopen weekend was het vruchteloos zoeken in de kleine lettertje naar een foutenpercentage.

Het technisch rapport dat Febelmar, de Belgische Federatie van Marktonderzoeksbureaus, bij elke opiniepeiling opstelt (waarin de Federatie enkele statistische basisvragen beantwoordt) verschaft ons vandaag wél enige duidelijkheid: "Bij een steekproef van 1000 personen geldt een betrouwbaarheidsinterval van minimum 0.6% en maximum 3.1%." Vertaald naar de DS/VRT-peiling wil dat zeggen dat de 'oplawaai' van de N-VA zeer relatief is. De partij van Bart De Wever had zowel op 25% als op 31% kunnen eindigen, wat gewoon een 'duwtje' was geweest. Idem dito met CD&V, sp.a, Vlaams Belang, Groen en PVDA. Zo zou sp.a bij 100 opiniepeilingen 95 keer (aan een betrouwbaarheidsinterval is steeds een zekerheid van 95% gekoppeld) uitkomen op een percentage tussen 10,3% en 16,5%. De partij kan dan ofwel even groot zijn als CD&V ofwel kleiner dan het VB.

Rekening houdend met het betrouwbaarheidsinterval zou de partij van Bart De Wever volgens de laatste peiling zowel op 25% als op 31% kunnen eindigen

Bovendien kunnen de resultaten nog instabieler zijn aangezien ze werden herwogen op leeftijd, geslacht, beroep, onderwijsniveau en provincie. Daarbovenop werden de resultaten van het vorig stemgedrag herwogen naar de uitslag van de parlementsverkiezingen van 2010 per provincie, waardoor, volgens het Febelmar-rapport, " [d] e resultaten op de andere vragen dus onrechtstreeks mee gewogen [werden] op basis van het vorig stemgedrag." Ook dit kan een onderschat effect hebben op de foutenmarge. Zowel Febelmar als de sociale wetenschapstheorie benadrukt dat 95%-betrouwbaarheidsintervallen enkel gelden wanneer het om een volledige toevalssteekproef gaat (de DS/VRT-peiling is een tweetrapssteekproef) en de non-respons en onbereikbaarheid zuiver toevallig zijn.

Non-respons

Met dit laatste raken we een ander teer punt van politieke peilingen. Respondenten die worden opgebeld zijn namelijk niet verplicht mee te werken aan het onderzoek en kunnen dus weigeren. In vaktermen heet zoiets non-respons. Binnen de statistiek wordt aangenomen dat weigeringen niet zomaar toevallig zijn; vaak hebben ze te maken met het onderwerp van het onderzoek — niets zegt namelijk dat de kiesintenties van de weigeraars vergelijkbaar zijn met die van de effectieve deelnemers. Naast de foutenmarge is dus ook de non-respons een indicator voor de betrouwbaarheid van een politieke peiling. Toch is ook deze parameter nergens terug te vinden in de DS/VRT-peiling.

Het technisch rapport van Febelmar levert opnieuw duidelijkheid. Om tot een netto-steekproef van 1014 respondenten te komen (een cijfer dat wel bekend is) werden 3570 personen gecontacteerd, wat neerkomt op een responsrate (de verhouding effectieve deelnemers-gecontacteerde personen) van 28,4%.

De 2556 personen (71,6%) die niet deelnamen zijn daarom niet allemaal halsstarrige weigeraars. Per huishouden dat werd gecontacteerd werd enkel de laatst verjaarde persoon ondervraagd; was deze persoon afwezig, dan werd het telefoongesprek afgerond en werd geen vervanger aangeduid. Maar hoe groot de verhouding weigeraars-afwezigen is, is niet duidelijk (wat in feite weinig ter zake doet: een afwezige zal niet noodzakelijk een andere politieke voorkeur hebben dan een weigeraar).

Om tot een netto-steekproef van 1.014 respondenten te komen werden 3.570 personen gecontacteerd, wat neerkomt op een responsrate van 28,4%

Hoe dan ook hebben non-respons en onbereikbaarheid een niet te onderschatten invloed op de resultaten. De politieke voorkeuren van de 2556 weigeraars/afwezigen weerspiegelen niet noodzakelijk de politieke voorkeuren van de 1014 deelnemers. Wel integendeel. Die eerste groep zou de uiteindelijke resultaten wel eens grondig hebben kunnen beïnvloed mochten ze wel hebben deelgenomen.

Poppoll

Naast de voorbarige conclusies uit de partijscores worden ook altijd verbanden geforceerd tussen die partijscores en de populariteitsscore van individuele politici. Ook zijn de aangevoerde motieven voor de populariteit van een politicus/politica vaak kort door de bocht. Zo staat Maggie De Block (Open VLD) in de poppoll op de tweede plaats. "Rechtlijnig, no-nonsense, legalistisch: de consequente aanpak van De Block loont. En een emotioneel beladen verhaal als de uitwijzing van de ‘West-Vlaamse Afghaan’ Navid Sharifi, doet de staatssecretaris voor Asiel en Migratie allesbehalve pijn", zo fabriceert De Standaard de reden voor haar populariteit. Onmiddellijk is ook de daling van de N-VA verklaard.

Idem met Wouter Beke (CD&V). In de ranking stijgt hij van de twaalfde naar de achtste plaats. "Een steile klim" heet het, maar zowel in relatieve als in absolute cijfers is die steile klim een lachertje: proportioneel blijft hij t.o.v. de vorige peiling stabiel op 27% (maar 27% op 1014 respondenten is natuurlijk beter dan 27% op 1084 respondenten) terwijl het in absolute cijfers slechts om twintig personen gaat. Een handvol Beke-fans zijn dus genoeg om hem opnieuw populair te noemen.

Veel heeft natuurlijk te maken met de vraagstelling. Laat je iemand spontaan antwoorden of leg je hem/haar enkele mogelijke antwoorden in de mond? Voor de poppoll wordt bij elke peiling telkens een lijst van politici voorgelezen waaruit de respondent één of meerdere namen kan kiezen of hij kan zelf een naam noemen die niet in de lijst voorkomt. Die lijst beperkt zich meestal tot politici die vaak in het nieuws komen: ministers, partijvoorzitters, de premier, prominente parlementsleden, enz. Vraag is in hoeverre respondenten zelf een niet-genoemde politicus/politica kiezen. Op die manier hebben gewone parlementsleden minder kans om in het poppoll-lijstje terecht te komen, terwijl zij misschien zeer interessant parlementair werk verrichten. Ook respondenten die op geen van de genoemde politici zouden stemmen (bv. lijststemmers) zijn genoodzaakt iemand te kiezen, ook al willen ze dat niet.

Het feit dat de responsrate en vooral de foutenmarge niet werden meegegeven duidt er op dat de meeste media het betere nattevingerwerk verkiezen boven een degelijke analyse

Hetzelfde gebeurt bij de vragen 'wie wenst u als volgende premier van België/minister-president van Vlaanderen?' Bij beide vragen worden vier politici genoemd waaruit de respondent kan kiezen, of hij/zij kan zelf iemand voorstellen. De 'geen mening/geen voorkeur'-mogelijkheid is ook hier afwezig (onderzoek heeft nochtans aangetoond dat wanneer personen kunnen kiezen voor 'geen mening' ze dit veel vaker doen). Personen met een minder uitgesproken mening zijn op die manier toch verplicht iemand te kiezen. De kans bestaat dat ze dan gewoon iemand van de vier vooropgestelde namen kiezen. Verwondering veinzen over de score van Kris Peeters is dan op zijn zachtst gezegd hypocriet.

Het betere nattevingerwerk

Nadat de resultaten in mooie diagrammen en tabellen zijn gegoten en er een heuse S.W.O.T.-analyse van is gemaakt, zijn ze in de dagen en weken erna steevast voer voor een politiek debat over het politieke spel van de verschillende partijen, de politieke tegenstellingen, het regeringsbeleid, de fouten van minister A of B, de prestaties van parlementslid X of Y, de campagnestrategieën voor de komende verkiezingen en zelfs over de samenstelling van de volgende regering.

Zoals uit bovenstaande analyse mag blijken is dit debat vaak gebaseerd op loze argumenten, geforceerde verbanden, twijfelachtige conclusies en holle motieven. Het zou de boodschapper van de peiling sieren mocht hij de waarde van zijn eigen onderzoek niet opblazen, de resultaten in perspectief plaatsen en (statistisch) correct duiden en zich inhouden de resultaten te veralgemenen en te extrapoleren naar dé Vlamingen of dé Belgen.

Het feit dat de responsrate en vooral de foutenmarge van de recente peiling niet werden meegegeven aan de lezer/kijker duidt er evenwel op dat de meeste media nog altijd liever houden van het betere nattevingerwerk dan van een degelijke analyse. Ondertussen maken wij ons klaar om over enkele maanden nog eens dezelfde deur met een flinke aanloop in te trappen.

LEES OOK
Karl van den Broeck / 01-03-2021

‘BDW’ toont kleine kantjes van Bart De Wever, maar blijft kritiekloos

De VRT balanceert met het onkritische humaninterestprogramma over Bart De Wever op de grens van de eigen deontologie.
BDW S1 A2
Bert Verhoye / 08-03-2019

Koro 8 maart 2019

Het rubriekje van Bert Verhoye waarin onze hysterische wereld geconfronteerd wordt met problemen, die geen problemen zijn.
Bert Verhoye
Peter Casteels / 04-12-2014

'VRT is rechts complot noch rode burcht'

Is de VRT onpartijdig of niet? Terwijl onderzoekers van de VUB het pleit definitief proberen te beslechten stelde Apache.be de vraag aan drie mensen die het misschien zouden…
vrt