Over het onderzoek naar het stemgedrag bij de verkiezingen van 24 mei 2014 lijkt het laatste woord onder academici nog niet gezegd.
Wat vooraf ging
Op 25 september 2014 besteedt De Standaard ruim anderhalve bladzijde aan een onderzoek ‘naar het stemgedrag’ bij de verkiezingen van 24 mei 2014 door het interuniversitair team Partirep (Deschouwer VUB, Hooghe KU Leuven, Delwit ULB, Rihoux UCL, Walgrave UA e.a.). Hoofdmoot vormt de studie van Ruth Dassonneville e.a. over stemverschuivingen. Daarnaast krijgt ook de studie van Marc Hooghe e.a. over samenhangen van ‘het stemgedrag’ met politiek vertrouwen en tevredenheid over de regering bij de kiezers aandacht.
De data voor de artikels zijn gebaseerd op interviews met een zeshonderdtal of een duizendtal kiezers, afhankelijk van de studie. Als je weet dat duizend mensen face-to-face thuis bevragen in België gemakkelijk vier maanden tijd kost, zo niet langer, vraag je je af hoe het Partirep team dit zo snel heeft klaargespeeld. Net vier maanden na de verkiezingen – waarvan twee vakantiemaanden waarin zowat de helft van België niet kan worden bevraagd wegens op vakantie – presenteren zij de resultaten van hun onderzoek naar ‘stemgedrag’. Het lijkt een hele krachttoer. Laat ons daarom meteen verduidelijken dat het onderzoek door Partirep grotendeels gebruik maakt van pre-electorale data. In de drie maanden voor de verkiezingen hebben zij potentiële kiezers mondelingthuis laten bevragen over hun politieke opinies en stemintenties. In de loop van de maand volgend op de verkiezingen zijn een beperkt gedeelte van dezelfde mensen telefonisch nogmaals bevraagd.
Jammer genoeg is er nog steeds geen technisch rapport beschikbaar waarin de lezers van De Standaard en andere media deze en andere informatie over de dataverzameling achter het Partirep onderzoek gemakkelijk kunnen terugvinden. Voor mijn opzoekwerk moest ik op zoek gaan naar methodologische informatie in drie grotendeels – maar niet volledig –overlappende bronnen: de artikelen in Samenleving en Politiek (Sampol 07/14) en in de Courier Hebdomadaire du CRISP (N° 222509/14), en de perstekst van Partirep. Om met de verschillende stukjes informatie die in deze teksten en in de voetnoten en legendes bij tabellen worden aangeleverd de gehele puzzel van de gehanteerde methodologie te kunnen maken, moet je al in het vak zitten, en dan nog.
Wat blijkt?
In mijn kritische bespreking voor Sampol onder de titel “Verkiezingsonderzoek 25 mei 2014 Revisited” nam ik een aantal problematische aspecten van het Partirep onderzoek op de korrel.
Ten eerste is het onderscheid tussen stemintenties en stemgedrag van belang, als je weet dat bijna de helft van de kiezers tot op de laatste weken voor de verkiezingen hun keuze nog niet definitief hebben vastgelegd. Het artikel van M. Hooghe e.a. is gebaseerd op de gegevens die verzameld zijn in de drie maanden voor de verkiezingen, maar daar wordt in Sampol 7/14 niet over gerept. De auteurs hebben het er over stemgedrag in plaats van het correcte stemintentie. We hebben dat misleidend genoemd.
Ten tweede blijken de gegevens waarop Dassonneville e.a. zich baseren om de verschuivingen in het stemgedrag te analyseren, in tegenstelling tot wat ze schrijven, niet representatief te zijn, noch voor de verkiezingen van 2010, noch voor de verkiezingen van 2014. Dat is niet zo verwonderlijk omdat alles samen slechts 29% van de aangesproken kiezers wou meewerken aan het onderzoek. De selectiviteit van de data stelt een probleem van steekproefvertekening van de bevindingen.
Andere manco’s van het Partirep onderzoek die vertekenende of onvolledige bevindingen kunnen opleveren, zijn het weglaten van de nieuwe jonge kiezers uit de analyse. Verder werden enkel de ruwe gegevens zoals verkregen uit de dataverzameling weergegeven, zonder statistische analyse.
Analyse van de verschuivingstabel 2010 - 2014
Mijn artikel voor Sampol maakt deze oefening en onderwerpt de Partirep gegevens aan een statistische analyse. Daarbij repliceren we de analyse van stemverschuivingen door Dassonneville e.a. en corrigeren we, voor zover mogelijk, voor steekproef vertekeningen. Dat laatste doen we door de data te herwegen op basis van de bekende verkiezingsresultaten van 2014. In het artikel documenteren we hoe we methodologisch te werk zijn gegaan, zodat alles wat we doen controleerbaar en publiek is.
Om de analyse van Dassonneville e.a. over te doen, heb je enkel de ruwe transitietabel nodig (met alle combinaties van stemgedrag in 2010 en 2014). Die tabel kan worden gereconstrueerd op basis van de publicatie in Sampol 07/14. We heranalyseren deze om aan te geven wat de problemen zijn in het artikel van Dassonneville e.a. We komen tot – zacht gezegd –andere resultaten dan Dassonneville e.a. De Morgen en De Tijd publiceren die resultaten – jammer genoeg zonder voorbehoud te maken bij de (mijns inziens twijfelachtige) kwaliteit van de data.
De Standaard: Een academische clash
Voor de Standaard is het nieuws niet dat er problemen kunnen zijn met de methodologie van het Partirep onderzoek, noch dat je tot andere bevindingen komt wanneer je die baseert op je ruwe gegevens (Dassonneville e.a.) dan wel wanneer je de gegevens aanpast aan de (inmiddels) gekende verkiezingsresultaten en statistisch analyseert (Swyngedouw). Neen, De Standaard doet dit af als een academische clash tussen professoren (De Standaard 30/1/ en 26/2/15):
Swyngedouw wijt de fouten aan de concurrentieslag tussen onderzoekers ‘met als inzet: wie komt eerst met cijfers over de grondoorzaken van deze verkiezingen’. Swyngedouw is zelf betrokken in die concurrentieslag, zoals hij niet nalaat te onderstrepen in Samenleving en Politiek.
Het contrast met de publieke debatcultuur in de VS, waar ernstige wetenschappelijke discussies worden gevoerd zonder aanzien des persoons en voor het voetlicht van de media, is groot. Zo bijvoorbeeld heeft mijn collega, Richard Albaan van de City University New York waar ik momenteel Visiting Research Fellow op het Department of Sociology ben, een webpagina gewijd aan het onderuit halen - op basis van dezelfde censusgegevens – van de stelling van Glaeser en Vigdor dat er in Amerikaanse steden en New York City in het bijzonder een eind zou zijn gekomen aan raciale segregatie. Het gaat daarbij in de discussie over definities - wie is zwart, wie is blank? - en over, ja, statistische indexen – hoe bereken je die? Kranten, TV-stations en andere media berichten daar ernstig over.
Het strategisch antwoord van Partirep
Het antwoord van het Partirep team Jean-Benoît Pilet, Kris Deschouwer, Pierre Baudewyns, Ruth Dassonneville, Marc Hooghe, Benoit Rihoux en Stefaan Walgrave (Gegoochel met ‘dode zielen'?) op mijn kritische analyse in Sampol 01/15 (Verkiezingsonderzoek 25 mei 2014 Revisited, komt er in het februari nummer van Sampol (2/15). Het gaat om een strategisch opgestelde tekst die heikele punten omzeilt en met de vinger wijst: ‘Kijk, jullie hadden in 2003 hetzelfde probleem!’
Het probleem is dat het electoraat van het Vlaams Belang ook in ons toenmalig onderzoek ondervertegenwoordigd was. Hierbij wordt gemakshalve vergeten dat de wetenschappelijke discussie ook, of vooral gaat over goede en minder goede oplossingen voor dit dataprobleem. Over die oplossingen is het stuk opvallend kort: we hebben de analyses overgedaan en herwogen naar achtergrondkenmerken en de bekende verkiezingsuitslagen van 2014, en dezelfde resultaten gevonden. Als dat zo zou zijn dan zouden we die heranalyse graag publiek gerapporteerd zien. Het Partirep team concludeert: “Er is geen enkel scenario dat ertoe leidt dat N-VA en Open VLD gewoon kiezers met elkaar zouden hebben uitgewisseld”. Lees: Swyngedouw heeft ongelijk. Merk op dat over de uitwisseling met de CD&V gezwegen wordt. Kortom, het Partirepteam vermijdt te moeten antwoorden op lastige methodologische opmerkingen en gaat niet ernstig in op tegenstrijdige bevindingen.
Het antwoord van het Partirep team is op twee wijzen interessant: eerst en vooral omwille van de opmerkingen waarop men niet reageert, en vervolgens omwille van de reductie van de problemen tot één kwestie: weging als de grote boosdoener. Het Partirepteam belooft in haar artikel een antwoord in haar boek ‘de kiezer ontcijferd’ (sic). Om haar geheugen fris te houden hierbij de zaken die daarin moeten besproken worden.
Zwijgen is instemmen?
Waarop reageert het Partirepteam niet? Mogen we bijgevolg aannemen dat zij het eens zijn met onze opmerkingen dat:
(1) … Marc Hooghe e.a.in hun originele bijdrage (Politiek Vertrouwen in Vlaanderen en Wallonië Sampol 07/14) stemintenties onderzoeken en niet stemgedrag? Zou een correcte titel dus zoiets zijn als ‘politiek vertrouwen en stemintenties in de drie maanden voorafgaand aan de verkiezingen van 2014’?
(2) … Dassonneville e.a. om de verschuivingen in stemgedrag tussen 2010 en 2014 in te schatten zich baseren op een responsgraad voor het gehele panelonderzoek op de vragen naar het stemgedrag 2014 en 2015 die niet meer dan 29% bedraagt in Vlaanderen? En dat dit ondermaats is, vergeleken met ander kwaliteitsvol sociaalwetenschappelijk onderzoek in Vlaanderen in de periode 2010 – 2015?
(3) … Dassonneville e.a. schattingen van de verkiezingsresultaten van 2010 en 2014 gebruiken die niet representatief zijn voor het stemgedrag in Vlaanderen in deze jaren?
(4) … Dassonneville e.a. de nieuwe jonge kiezer (18 – 22 jaar) in 2014 niet in hun analyse betrekken?
(5) … Dassonneville e.a. geen gebruik maken van een statistisch model (met vrijheidsgraden) om hun verkregen schattingen formeel te toetsen aan hun verzamelde (geobserveerde) data?
(6) … Dassonneville e.a. 645 kiezers (eenheden) voldoende achten om 64 overgangen te beschrijven (van 8 partijen in 2010 naar 8 partijen in 2014)? Met als gevolg dat vele overgangen in de data niet voorkomen en dan maar verondersteld worden niet te bestaan? Wat het beperkte aantal Partirep gegevens niet kan laten zien, bestaat niet?
(7) … de wetenschappelijk vereiste overzichtelijke en volledige beschrijving van de gevolgde methode voor de bekomen resultaten in Sampol 07/14 er nog steeds niet is? Dat we daarvoor als lezers zelf nog steeds drie bronnen en hun voetnoten aan elkaar moet verbinden?
Weging als grote boosdoener?
Waarover heeft het Partirepteam het dan wel in haar stuk ‘dode zielen’?
(1) De tegenspraken tussen ons beider analyses van dezelfde data worden gereduceerd tot een probleem van ondervertegenwoordiging van de Vlaams Belang kiezer. Het klopt dat dit een bekend probleem is (zie in onze reactie in Sampol 01/15: “Het VB wordt in de Partirep gegevens voor 2010 maar liefst met een factor 2,1 of 53,5% onderschat” p. 68). In ons ISPO KU Leuvenverkiezingsonderzoek 2003 hebben wij dit probleem van ondervertegenwoordiging van de Vlaams Belang kiezers dan ook telkens duidelijk meegedeeld. Maar het probleem beperkt zich niet tot de onderschatting van de Vlaams Belang kiezers. In onze reactie wezen we eveneens op de overschatting van het kartel CD&V-N-VA in 2010 en de overschatting van N-VA in 2014. Een mogelijke oplossing voor beide problemen – waarvoor wij opteren – is de weging van respondenten. Daarbij wordt het zwaarder wegen van het (onderschatte) aantal Vlaams Belang kiezers (en het aantal kiezers van kleine andere partijen), gecompenseerd door het minder zwaar wegen van het (overschatte) aantal N-VA en CD&V-N-VA kartel kiezers. De kritiek dat we zouden rekenen met ‘dode kiezers’ lijkt ons daarom eenzijdig en overtrokken. Gelukkig zijn we het eens over het principe dat we eerlijk en transparant moeten vermelden welke kiezers niet of weinig worden bereikt in onze enquêtes. Maar kan iemand eens de passage in het artikel van Dassonneville e.a. in Sampol 07/14 aanduiden waar “eerlijk en transparant vermeld (wordt), en in (…) (de) rapportering duidelijk (gemaakt wordt) (…) dat (…) maar een beperkt gedeelte van de extreemrechtse achterban (…) werd bereikt” (Partirepteam in Sampol 02/15)? Deze passage lijkt onvindbaar. Werk aan de winkel voor het aangekondigde Partirep boek dus.
(2) Swyngedouw rekent met halve kiezers! Erger, mijn software rekent met minimaal vier cijfers na de komma (1). In de (sociale) statistiek gaat het immers over schatters, dus geen hele of halve fysieke kiezers. Schatters worden gebruikt om op basis van een concrete steekproef van enkele honderden of een kleine duizend kiezers bijvoorbeeld, geldige uitspraken te doen over de populatie van alle Vlaamse kiezers.
(3) Swyngedouw rekent op een tabel en ‘past die aan’, ‘reconstrueert’ die ‘alsof een weging heeft plaatsgegrepen’. Natuurlijk is dit een herweging. Een herweging aan de hand van de gekende – officiële – verkiezingsuitslagen. By the way, om een transitietabel te analyseren, heb je alleen de ruwe transitietabel nodig en niet de gehele dataset.
(4) Volgens het Partirepteam moeten we eerst wegen naar achtergrondkenmerken (leeftijd, geslacht en onderwijsniveau). Maar bij Dassonneville e.a. in hun bijdrage in Sampol 07/14 lezen we dat hun gegevens “representatief” zijn. Of zijn ze dat dan toch niet? Een weging met achtergrondkenmerken is een standaardprocedure in al ons verkiezingsonderzoek.Heeft het Partirepteam in zijn haast om te publiceren dan zelf die weging nagelaten?
(5) Het Partirepteam gaat nog een stap verder en weegt in haar reactie in Sampol 02/14 ook met de verkiezingsuitslag 2014. Blijkbaar volgens ze dus onze redenering en dien je te wegen met de gekende verkiezingsuitslag. Volgens het Partirepteam zou wegen met achtergrondvariabelen en met de verkiezingsuitslag 2014 geen wezenlijke verschillen met de resultaten van Sampol 07/14 opleveren. Als dat zo is, dan zou ik de resultaten van deze door ons in Sampol 07/15 gevraagde gevoeligheidsanalyse heel graag gepubliceerd zien.
(6) Nog een kleine nuancering. Wij schrijven nergens dat de winst van de N-VA “enkel en alleen” van het Vlaams Belang zou komen. We geven ook zeer duidelijk aan in Sampol 01/15 dat we ernstige vraagtekens (moeten) plaatsen bij de analyse van stemverschuivingen op basis van de Partirep gegevens (namelijk de kwestie van lage aantallen, de hoge non-responsgraad, en de onduidelijke representativiteit van de surveygegevens).
Tot slot
Het feit dat er in de VS in de sociale wetenschappen een publieke discussiecultuur bestaat die ook door de media ernstig wordt genomen, verklaart misschien gedeeltelijk waarom de kwaliteit van veel wetenschappelijk werk daar hoger is. Jezelf tegenspreken in opeenvolgende publicaties wordt er genadeloos afgemaakt. In landen zoals België (Vlaanderen) waar publieke wetenschappelijke discussie amper voorkomen, is het resultaat ‘everything goes’ als je het maar verkocht krijgt.
Het is in dit licht dan ook een beetje verwonderlijk dat het Partirepteam nu met zijn kritiek op het wegen van steekproefgegevens komt en niet in 2009. In o.a. hun boek over de regionale verkiezingen 2009 (De stemmen van het Volk, ASP/VUB Press 2010) citeren ze uitgebreid de gewogen gegevens die het ISPO-KU Leuven verkiezingsonderzoek al 25 jaar verzamelt (2). En wegen zij ook hun eigen ruwe gegevens naar o.a. stemgedrag 2009 (3) . Een kort geheugen?
Noten
(1) Partirepteam verwijt me de overgang Open-VLD – N-VA te nauwkeurig te vermelden. We opteerden om in het gehele artikel (Sampol 01/15) exact te vermelden hoe we aan onze schattingen komen.
(2) Zie o.a. Walgrave, Lefevere & Hooghe in Stemmen van het Volk (2010, VUB Press) “De veranderlijkheid van de kiezer uit zich natuurlijk ook rechtstreeks: het aantal kiezers dat van partij wisselt tussen twee verkiezingen is geleidelijk toegenomen” uit: Bart Goeminne en Marc Swyngedouw, “De verschuivingen in het stemgedrag 1999-2003 en 2003-2004,” in De Kiezer Onderzocht (Leuven: Universitaire Pers, 2007), 45-68.
(3) Deschouwer, K., Delwit, P., Hooghe, M. & Walgrave, S. “Ook een zo goed mogelijke steekproef is niet perfect. Door het wegvallen van een aantal respondenten tussen de verschillende golven van het onderzoek verliest ze bovendien aan kwaliteit. Dat kan – voorzichtig – gecorrigeerd worden door de steekproef in de opeenvolgende golven te wegen.Dat betekent dat groepen die in de steekproef blijkbaar toch ondervertegen- woordigd zijn, iets zwaarder wegen in de totale resultaten. Groepen die oververtegenwoordigd zijn, worden dan weer wat minder zwaar gewogen. Zo worden de steekproeven een beetje rechtgetrokken op basis van geslacht, leeftijd, woonplaats, opleiding, beroepsactiviteit en stemgedrag” (De Stemmen van het Volk, 2010, p. 13).
