Vakmanschap zit in de vragenlijst

Door eerst de opkomst van telefonisch onderzoek en daarna het online onderzoek is het veel simpeler geworden om mensen te ondervragen. Respondenten zijn niet schaars meer en ook de mogelijkheden voor verwerking en analyse liggen voor het grijpen. Het gevolg is zichtbaar: een nog steeds toenemend aantal aanbieders van marktonderzoek die elk forse aantallen vragenlijsten verspreiden onder het mom van “als je maar veel mensen veel vragen stelt, komt er altijd wel iets zinvols uit”. Een leuke PowerPoint presentatie zorgt er vervolgens voor dat de opdrachtgever onder de indruk is van al die mooie grafieken, waarin het antwoord op de onderzoeksvragen toch wel af te leiden moet zijn. De vragenlijst is een ondergeschoven kind. Door Erik de Kort (www.emresearch.nl)


Onze respondenten passen zich daarbij goed aan. Steeds vaker komen respondenten uit panels en beantwoorden dus regelmatig vragenlijsten. Begrijpt men een vraag niet volledig, vindt men deze niet relevant of interessant of heeft men eigenlijk geen echte mening dan vult men toch gewoon wat in en gaat verder met de volgende vraag.

Wat nog al eens vergeten wordt, is de vraag wat een respondent redelijkerwijs kan beantwoorden. Het menselijk brein is ingewikkeld en keuzes worden vaak in het onderbewuste genomen. Lees het zeer leesbare boek van Ap Dijksterhuis, “Het slimme onbewuste” maar eens en realiseer je hoe weinig mensen zelf weten waarom ze bepaalde beslissingen nemen. Directe vragen naar het waarom van gedrag, het belang van keuzecriteria en het waarschijnlijke toekomstige gedrag zijn in veel gevallen volstrekt zinloos. Mensen weten het gewoon niet. Toch beantwoorden ze vragen braaf en de antwoorden worden verwerkt als ware het de werkelijkheid.

Vroeger kreeg de vragenlijst de aandacht die hem toekwam. Maar nu? Hoeveel vragenlijsten worden nog getest in een proefenquête op begrijpelijkheid of in een pilot op betrouwbaarheid en validiteit? Waar is de rol van psychologen in het marktonderzoek? Zij die hebben doorgeleerd in het doorgronden van de menselijke psyche en veel getest hebben op het gebied van vraagstelling. Wie weet nog hoe een multi-item schaal wordt ontwikkeld waarmee op een meer betrouwbare wijze begrippen (‘constructen’) gemeten kunnen worden? Welk bureau beschikt nog over een set standaard, gevalideerde vraagstellingen en gebruikt deze?

Een goede vragenlijst vormt het hart van goed onderzoek. Bij het opstellen van een goede vragenlijst wordt aandacht besteed aan de volgende aspecten:

• Wat wordt gemeten: kunnen met de onderwerpen die in de vragenlijst worden aangekaart alle onderzoeksvragen worden beantwoord?
• Hoe wordt gemeten ofwel hoe worden de vragen gesteld: Hieronder vallen de volgende aspecten:
  o Validiteit: meten we wat we willen meten?
  o Betrouwbaarheid: meten we telkens hetzelfde?
  o Zo weinig mogelijk tijd en moeite voor de respondent
  o Goed en eenvoudig te verwerken

Het opstellen van een goede vragenlijst begint altijd vanuit de beleidsvragen (wat moeten we doen?). Als het goed is, zijn de beleidsvragen zorgvuldig vertaald naar onderzoeksvragen (wat moeten we weten om die beslissing te kunnen maken?) en die vervolgens weer naar enquête vragen (wat vragen we de respondent?). op deze manier heeft elke vraag die in de vragenlijst is opgenomen een directe relatie met het probleem dat de opdrachtgever wil oplossen. Als deze stappen niet zorgvuldig worden doorlopen, is de kans groot dat je er achteraf achter komt dat sommige vragen weinig bruikbare informatie opleveren. Nog erger, de kans bestaat dat cruciale vragen ontbreken.

Het wordt tijd om de focus minder te richten op technische grappen en grollen en meer op het opstellen van een betrouwbare en valide vragenlijst die de vraagstukken van opdrachtgevers beantwoordt op een gedegen manier. Ook opdrachtgevers spelen hierin een belangrijke rol. Zij zijn het die het kaf van het koren kunnen scheiden door bureaus te selecteren mede op basis van de vaardigheid om goede vragenlijsten te maken. In dit kader is het helemaal niet zo gek om in de briefing het verzoek op te nemen om in het voorstel een aantal voorbeelden van vragen op te nemen waarmee het bureau de onderzoeksvragen denkt te beantwoorden.