Draagvlak voor draagvlakmeting ontbreekt

Hulde voor minister Eurlings die maatschappelijk draagvlak als voorwaarde stelt voor een nieuwe wet die nogal wat gevolgen lijkt te gaan hebben. Maar hoe meet je maatschappelijk draagvlak? Dit laten doen door een belangenorganisatie en je eigen politieke toekomst hiervan afhankelijk te maken, is onverstandig. De ANWB lijkt wel een verstandige keuze te maken door niet te gaan voor een populistische JA/NEE peiling, maar naar een onderbouwd oordeel over de mogelijke gevolgen van de invoering van de wet vraagt. Toch gaat er bij de ANWB peiling nogal wat mis, waardoor de uitkomsten niet bruikbaar zijn in maatschappelijk en politiek debat. De ANWB peiling zal dit eerder verstoren dan er een zinvolle bijdrage aan leveren.

De vragenlijst

Omdat de materie nogal complex is, is ook de vraagstelling aardig complex. Zodanig complex dat de gemiddelde automobilist deze niet meer kan beantwoorden. Wat te denken van een vraag als: ‘het spitstarief is een effectief instrument om de files te verminderen’. Dit is een vraag die aan deskundigen voorgelegd zou moeten worden. Men kan weinig met de antwoorden van gewone automobilisten op deze vraag en zeker geen conclusies trekken over de te verwachten effectiviteit. Ook de vraag ‘welke van de onderstaande argumenten speelt de belangrijkste rol in uw mening ten aanzien van onderwerp x?’ is onmogelijk redelijkerwijs te beantwoorden. Immers, de vraag veronderstelt een volledig bewust en rationeel proces in het hoofd van de respondent, leidend tot een oordeel op een bepaald aspect.

In de gekozen vraagstelling zitten enkele beginnersfouten. Vragen in de trant van ‘het is een voordeel dat er minder verkeersdoden vallen?’ zijn bij voorbaat zinloos om te stellen, vanwege de te verwachten sociaal wenselijke antwoorden. Vanwege dezelfde reden is het een logische, vooraf te verwachten uitkomst dat mogelijke schending van de privacy een belangrijk bezwaar is van automobilisten. Dit zit ingebakken in de vraagstelling en het is de vraag of een zorgvuldig geformuleerde vraag tot dezelfde uitkomst zou leiden.

Verder worden er nogal wat veronderstellingen gemaakt over mogelijke gevolgen. De genoemde daling van het aantal verkeersdoden is daar een voorbeeld van, maar wat te denken van deze: 'Het is een voordeel dat de kosten van auto en ov straks beter te vergelijken zijn'. Men neemt dus in de stelling aan dat de kosten beter te vergelijken zijn. Het zijn eigenlijk twee vragen: 'denk je dat de kosten beter te vergelijken zijn?' en als dat zo is 'vind je dat een belangrijk voordeel?' Of deze: 'Het is een nadeel dat het duurder wordt voor mensen die veel rijden'. Wederom een discutabel feit dat het duurder wordt voor veelrijders. Dat zijn vaak mensen met een leaseauto, waarbij de baas de kosten betaalt.

In veel stellingen wordt een gevolgtrekking gemaakt die de antwoorden multi-interpretabel maakt. Neem bijvoorbeeld deze: ‘Het OV is geen alternatief in de spits, omdat het nu al overvol zit’. Wat te antwoorden als je vindt dat het OV geen alternatief is in de spits, vanwege het feit dat in jouw specifieke situatie vervoer van deur tot deur niet mogelijk is. Je kunt invullen ‘oneens’, omdat je van mening bent dat er best nog plaats is in het OV. Maar je zou net zo goed ‘eens’ kunnen antwoorden, omdat OV voor jou geen alternatief is.

Als laatste punt willen we noemen dat door zoveel informatie te geven over de wet en de mogelijke gevolgen, deelnemers een informatievoorsprong krijgen ten opzichte van de gemiddelde Nederlander. Dit stuurt natuurlijk enorm de beeldvorming, zeker omdat niet alle verstrekte informatie even objectief is. Het beeld dat uit de peiling komt, is weliswaar meer gebaseerd op feiten, maar komt niet meer overeen met het beeld dat in Nederland heerst.

De steekproef

Het belangrijkste probleem is echter niet de gekozen vraagstelling, maar de manier van de steekproef trekken. Inmiddels hebben honderdduizenden respondenten de vragenlijst ingevuld. Een grote steekproef, dus representatief, wordt algemeen geredeneerd. De media houdt van grote steekproeven. Niet correct dus. Van representativiteit kan geen sprake zijn, bij een dergelijke opzet waarbij iedereen die dat wil de vragenlijst kan invullen. Sterker nog, degenen met de meest uitgesproken meningen, zullen eerder geneigd zijn de moeite te nemen de vragenlijst in te vullen. Meestal zijn het de tegenstanders die het hardst roepen, dus van een representatieve steekproef kan niet gesproken worden. Doordat vooraf is aangekondigd welk belang gehecht wordt aan de uitkomsten van de peiling, wordt dit effect alleen maar versterkt. Vooralsnog is onduidelijk of de steekproef op de een of andere manier wordt vergeleken met een representatief getrokken steekproef.

De ANWB beschikt over een groot ledenbestand. Een mooie, zorgvuldige steekproef getrokken uit dit bestand zou een veel representatiever beeld geven van de mening van de Nederlandse automobilist. Uit het oogpunt van betrouwbaarheid heeft het weinig zin een steekproef groter dan n=2000 te trekken. Het levert nauwelijks een betrouwbaarder beeld op, zolang deze steekproef maar zorgvuldig getrokken is. Helaas doet een ‘steekproef’ van enkele honderdduizenden het beter in de media.

Jammer dat de ANWB voor deze opzet gekozen heeft. Er lag hier een kans om aan te tonen dat ons vakgebied een belangrijke rol kan spelen bij het nemen van complexe beleidsbeslissingen, door op een goede manier beleidsinformatie te leveren als input voor debat. Ook jammer is het dat het bureau dat het onderzoek uitvoert zich ingelaten heeft met het toch wel dubieuze onderzoek.

En voor wat betreft de kilometerheffing? We betalen al lang een prijs per kilometer, die afhankelijk is van de zuinigheid van de auto. Die zit namelijk verwerkt in de benzineprijs. Verhogingen van de benzineprijs hebben niet geleid tot minder autokilometers. Immers, de prijs per kilometer blijft relatief laag, als er eenmaal een auto voor de deur staat. En automobilisten die in de file staan betalen al lang een spitstarief. Niet in geld, maar in verloren tijd. Degenen die een keuze hebben, hebben deze al lang gemaakt.

Met dank aan Erik de Kort en de vele reacties op LinkedIn. Beide auteurs werken als ondernemer in het marktonderzoek. Momenteel zijn aan de slag met het schrijven van een boek over het opstellen en valideren van vragenlijsten voor kwantitatief onderzoek.

Kijk hier voor de reactie op een aantal hierboven genoemde punten van Ruigrok| Netpanel, het bureau dat het onderzoek uitvoerde.