Kruistabellen: ze moesten verboden worden!

De pers is dol op resultaten van ‘wetenschappelijk’ onderzoek, met name indien er bijzondere en onverwachte conclusies uit naar voren komen. Dit vinden we bijvoorbeeld sterk terug in onderzoek op het gebied van gezondheid. Eerst waren eieren gezond, toen mochten we niet meer dan 3 eieren per week eten en nu mag het weer volop van de wetenschappers die dit allemaal onderzocht hebben. Iets soortgelijks komen we tegen bij wijn, vis en vele andere voedingswaren. Door Erik de Kort (www.emresearch.nl).

Een grootschalig onderzoek onder skiërs in Oostenrijk leverde het opvallende resultaat op dat skiërs die veel alcohol nuttigden, de minste brokken maakten. Automatisch trekt de lezer van een dergelijke boodschap de conclusie dat alcohol drinken positief werkt op het vermijden van ski-ongelukken. Uit nadere analyse van de resultaten bleek er iets anders aan de hand. Er zijn blijkbaar twee groepen skiërs: de ene groep is lekker de hele dag bezig met skiën, terwijl een andere groep het lekker rustig aan doet, tussen de middag een uurtje gaat zitten, een biertje neemt en om een uurtje of half vier stopt met skiën om daarna lekker aan de après-ski te gaan. De tweede groep drinkt er lekker op los, maar skiet relatief weinig. En maakt dus relatief weinig ongelukken. Er is hier sprake van schijncorrelatie tussen het drinken van alcohol en het krijgen (of veroorzaken) van ongelukken. Er zit een andere (verklarende) variabele tussen.

Een onderzoek onder gebruikers van voorzieningen voor zieken en gehandicapten liet zien dat mensen in tehuizen en instellingen vaker klaagden dan mensen die nog thuis woonden. De conclusie was dus dat de zorg in tehuizen en instellingen slechter was dan de zorgvoorziening thuis, met de aanbeveling daar iets aan te doen. Bij nadere analyse bleek echter dat mensen in tehuizen vaker hun zaken lieten behartigen door zaakwaarnemers, veelal jongere mensen (bijvoorbeeld de kinderen van de cliënten). En die zijn gewoon wat assertiever dan de ouderen. De oorzaak van het verschil in oordeel lag dus geheel ergens anders. Foute aanbeveling dus.

Marktonderzoek levert vaak schijncorrelaties op die als conclusies in het eindrapport gerapporteerd worden. Er wordt een statistisch verband geconstateerd, zonder dat gecontroleerd wordt of er sprake is van een oorzakelijk verband. Er kan een gezamenlijke oorzaak zijn, een steekproeffout, de analyse slaat een paar stappen over (tussenvariabelen), de werkelijkheid is soms complexer of er kan gewoon sprake zijn van simpel toeval.

Dit is mede het gevolg van het in het wilde weg crossen van variabelen. Als er in een onderzoek 20 vragen worden gesteld en alle vragen tegen alle andere vragen worden uitgesplitst, is de kans zeer groot dat er minimaal 1 statistische correlatie blijkt te bestaan. Domweg door toeval.

In de dagelijkse praktijk worden rapportages nog heel vaak begonnen vanuit een tabellenset waarbij alle vragen worden uitgesplitst naar een aantal vooraf bedachte achtergrondkenmerken. Onder de tabellen staan de significante verschillen en deze worden keurig in de rapportage vermeld. Na de beschrijving van wat er in de tabellen staat, worden conclusies getrokken, mede op basis van de gevonden (significante) verschillen. Helaas levert dit vaak zinloze, of erger nog, foute conclusies op.

Hoe moet het dan wel? Toch maar beginnen met hypotheses op te stellen over de relaties tussen de variabelen in het onderzoek. Indien mogelijk wordt gewerkt met een model dat gevalideerd is, of waar op zijn minst vooraf goed over nagedacht is, bijvoorbeeld over de variabelen die als verklarend verondersteld worden. Zo doet leeftijd als verklarende factor vaak niet veel, maar fase in de levenscyclus wel. En ook voordat de tabellen gemaakt worden de relaties tussen de verklarende variabelen goed bekijken. Er bestaan echt voldoende statistische technieken om vooraf deze relaties uit elkaar te halen en marktonderzoekers behoren deze technieken te beheersen.

Natuurlijk zijn kruistabellen zinvolle hulpmiddelen om conclusies te kunnen trekken uit onderzoeksdata. Maar gebruik ze wel met verstand.