in de media wordt vaak gegoocheld met percentages en proporties uit zogenaamd ‘onderzoek’, die zonder meer voor waar worden aangenomen. tot grote ergernis van heel wat wetenschappers. want wat is de waarde van cijfers uit onderzoek dat niet verloopt volgens de regels van de kunst? zeker in de sociale wetenschappen is het soms moeilijk neponderzoek te onderscheiden van degelijk wetenschappelijk onderzoek. misschien moeten sociale wetenschappers creatieve alternatieven bedenken voor het klassieke surveyonderzoek.
Het getekende land
Het onderzoek dat zo gepresenteerd wordt, vermeldt percentages en proporties. De helft van de Belgen viert Kerstmis thuis, of 48 procent van de Belgen kijkt ertegen op om na zijn vakantie terug aan de slag te gaan, of 70 procent van de Vlamingen verkiest Kris Peeters als nieuwe minister-president. En als het wat tegenvalt, hoor ik die cijfers ook op de radio en zijn ze voor de rest van de dag een prominent item van het nieuws en de bijbehorende duidingsprogramma’s. Dat wil dus zeggen dat de cijfers voor waar aangenomen worden. Ze blijken immers uit onderzoek. En onderzoek doet aan wetenschap denken. Wetenschappers verrichten onderzoek. En bij sociaalwetenschappelijk onderzoek levert dat wel eens cijfers op, proporties en percentages.
Heel af en toe kruipt een collega, die zich samen met mij verslikt heeft, in de pen en probeert hij of zij met een stukje in de krant van de volgende dag nog eens uit te leggen welke de regels van de kunst zijn. Wie iets wil zeggen over een bepaalde groep – de Vlamingen bijvoorbeeld – kan dat alleen maar doen als het onderzoek wordt uitgevoerd bij een louter toevallige steekproef die uit die groep getrokken werd. Elk lid van de bevolking over wie een algemene uitspraak gedaan wordt, moet precies even veel kans gehad hebben om voor het onderzoek geselecteerd te worden. Als dat niet zo is, hebben de cijfers geen betekenis. Je kunt ze dan beter zelf verzinnen. Het is een simpele regel, maar wel erg moeilijk in de praktijk om te zetten. Een toevallige steekproef uit de Belgische bevolking trekken vraagt immers tijd en kost geld.
Elk lid van de bevolking over wie een algemene uitspraak gedaan wordt, moet precies even veel kans gehad hebben om voor het onderzoek geselecteerd te worden
Over de wijze waarop de selectie van de ondervraagde mensen gebeurde, is meestal niets te vernemen. Wel wordt de nadruk gelegd op het soms grote aantal mensen dat bij het onderzoek betrokken werd. Ruim 1000 mensen namen deel aan de test. Wij ondervroegen meer dan 2000 respondenten. En wie echt indruk wil maken, doet aan ‘internetonderzoek’. Dan kun je snel over nog grotere aantallen rapporteren. Helaas draagt dat helemaal niet bij tot de kwaliteit van het onderzoek. Ook grote aantallen die niet toevallig geselecteerd zijn, leveren waardeloze resultaten op. Maar ze staan wel in de krant, en ze worden op radio en televisie en op steeds meer andere media besproken alsof ze echte en betrouwbare informatie bevatten. Hoe meer dergelijke onzin verspreid wordt, hoe moeilijker het is om neponderzoek te onderscheiden van wetenschappelijk onderzoek. Dit is allicht een ergernis die eigen is aan de sociale wetenschappen. Ze zijn erg gemakkelijk te kapen. Mediagroepen of organisaties allerhande wagen zich niet aan medische of biologische testen. En als we in de krant zouden lezen dat uit ‘een onderzoek dat wij lieten uitvoeren’ blijkt dat een nieuw chemisch element ontdekt werd, zouden we dat niet ernstig nemen.
Het is een hopeloze strijd. Je kunt af en toe nog eens proberen te herinneren aan de regels waaraan degelijk surveyonderzoek moet voldoen, maar het slechte onderzoek gaat sneller en is goedkoper, en lijkt met die percentages en proporties veel te goed op het echte ding. Dit is een variant op de wet van Gresham: ‘Bad money drives out good money’. Uit slecht uitgevoerd onderzoek blijkt meestal helemaal niets, maar we geloven het wel en we denken met zijn allen dat het geldig is. Het is een strijd die niet te winnen is.
Het slechte onderzoek gaat sneller en is goedkoper, en lijkt met die percentages en proporties veel te goed op het echte ding
Maar we moeten ook in eigen boezem durven kijken. Ik verdedig hier nu het degelijke en volgens de regels van de kunst uitgevoerde bevolkingsonderzoek tegen de charlatans die beweren dat ook zij aan onderzoek doen. Surveyonderzoek volgens de regels van de kunst is duur en vraagt veel tijd. En laten tijd en geld nu precies twee dingen zijn die niet altijd in overvloed aanwezig zijn in de wetenschappelijke onderzoeksgroepen. Dan durven wij ook wel eens de zeer strakke deontologische leer een beetje soepel te interpreteren. Wij trekken zelf ook niet altijd de perfecte steekproef, omdat het vooruit moet gaan en omdat we er niet de middelen voor hebben. Maar dat maakt ons wel een stuk zwakker in de claim dat alleen wij de dingen goed doen. We werken zelf ook mee aan de vervaging van de grenzen.
Als amateurs onze taal stelen, kunnen we een nieuwe ontwikkelen
Misschien moeten we daarom wat creatiever worden. Als amateurs onze taal stelen, kunnen we een nieuwe ontwikkelen. We grijpen immers ook veel te gemakkelijk naar surveyonderzoek – een aantal vragen stellen aan een steekproef uit de bevolking – om te analyseren wat er in de samenleving gebeurt. Als we bijvoorbeeld willen peilen naar de visie van de Belgische bevolking over de institutionele toekomst van het land, stellen we een aantal (zeer zorgvuldig geformuleerde en uitgeteste) vragen over identiteiten en over instellingen en over voorkeuren. Die leveren dan harde percentages en proporties op, die helaas te veel lijken op banale opiniepeilingen om nog enige indruk te maken.
Samen met een paar collega’s probeerde ik onlangs een alternatief. We vroegen aan groepen studenten (dat gaat snel en het is goedkoop) om België te tekenen. De opdracht was niet een landkaart te tekenen, maar dat is wel wat de meesten van hen deden. De anderen tekenden wafels of frieten of een pint bier of het Atomium. Die landkaarten bevatten een schat aan informatie. Ik pik er twee uit.
Vele studenten die een landkaart tekenden, voegden daar ook binnengrenzen aan toe, en dat is dan het vaakst de taalgrens. Ook Brussel verschijnt heel zichtbaar op vele kaarten. En tot onze verbazing tekenen nogal wat studenten het hoofdstedelijk gewest niet op de ‘juiste’ geografische plaats ten noorden van de taalgrens. We kregen vaak tekeningen waarop de taalgrens dwars door Brussel loopt. En dat doen Nederlandstalige studenten even frequent als Franstalige studenten. Alleen diegenen die zeer gehecht zijn aan hun Vlaamse identiteit tekenen Brussel beduidend meer op de geografisch juiste plaats. De Belgische institutionele debatten gaan over de binnengrenzen, over het tracé van de taalgrens en over de betekenis ervan. Maar ze zit wel anders in de hoofden dan in de debatten.
Na lang staren naar de vele tekeningen kregen we ook de indruk dat de grootte van Vlaanderen en Wallonië op de kaarten niet helemaal met de geografische realiteit overeenstemde. Nu is België natuurlijk geen gemakkelijk land om zomaar uit het hoofd te tekenen. Sommige kaarten zien er echt wel heel grillig uit, of net heel gestileerd met weglating van alle kronkels en details. Maar we besloten toch om systematisch de oppervlakte te meten van Vlaanderen en Wallonië op kaarten die de grens tussen noord en zuid bevatten. En ons vermoeden bleek te kloppen: Vlaanderen wordt getekend als een geografisch geheel dat groter is dan Wallonië. Dat is overigens geen Vlaamse overschatting: zowel Vlaamse als Franstalige studenten tekenen Vlaanderen te groot.
We waren zo blij en enthousiast met de resultaten van dit project, dat we inmiddels de methode ook geëxporteerd hebben. We laten studenten uit het noorden en het zuiden van Cyprus hun land tekenen, en we doen hetzelfde met studenten in Israël en in Palestina. We hopen dat ook die mental maps ons zullen toelaten om wat andere dingen te doen dan percentages te berekenen. En we hopen uiteraard dat de geografen zich niet verslikken in hun ochtendkoffie.
Ik ben dank verschuldigd aan Min Reuchamps (UCL) en Dimo Kavadias (VUB) met wie ik het project ‘Draw your country’ uitvoer.
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivs 3.0 Unported License