begin jaren ’80 kwamen een aantal grootschalige fraudegevallen in de wetenschap aan het licht. studies en onderzoekscommissies suggereerden dat wetenschap niet geïdealiseerd hoort te worden, maar integendeel gestuurd wordt door ambitie, ijdelheid en hebzucht. er werd in vraag gesteld of het geld van de belastingbetaler, waarmee het gros van het onderzoek gefinancierd werd en wordt, wel goed besteed werd. een groot deel van de wetenschappelijke wereld kon die zogenaamde inmenging niet smaken. nochtans blijkt er wel degelijk heel wat mis met de hedendaagse academische cultuur.

Vloeken in de kerk

Het taboe van wetenschappelijk wangedrag doorbroken

Gert Storms

In mei 1981 werd John Darsee, een arts van Harvard, betrapt bij het vervalsen van onderzoeksgegevens. Een onderzoekscommissie kwam tot het besluit dat 109 van zijn wetenschappelijke publicaties moesten worden teruggetrokken omwille van inbreuken op de wetenschappelijke integriteit. Ook volgens de commissie waren alle coauteurs van Darsees publicaties onschuldig. Ned Feder en Walter Stewart, beiden werknemers van de National Institutes of Health, twijfelden aan die vrijspraak en besloten elke publicatie van Darsee onder de loep te nemen. Ze stelden vast dat 35 van de 47 coauteurs zich schuldig hadden gemaakt aan ongeoorloofde onderzoekspraktijken, gaande van ‘ghost authorship’ tot dubbel publiceren van onderzoeksgegevens. Een coauteur van een bijdrage in de New England Journal of Medicine, bijvoorbeeld, had niet opgemerkt dat Darsee een stamboom vermeldde met een 17-jarige jongen die kinderen had van 8, 7, 5 en 4 jaar oud. Het manuscript waarin Feder en Stewart hun bevindingen neerschreven, werd echter door talloze tijdschriften geweigerd, omdat advocaten van Darsees coauteurs dreigden met juridische stappen. Doordat kopieën van het manuscript bij de New York Times terechtkwamen, werden de bevindingen van Feder en Stewart uiteindelijk, enkele jaren later, toch in Nature gepubliceerd.

Rond dezelfde tijd verscheen het boek Betrayers of the Truth van wetenschapsjournalisten William Broad en Nicholas Wade over een serie fraudegevallen die ze in opdracht van het tijdschrift Science hadden opgevolgd. Hun conclusie was dat wetenschap niet de verhoopte geïdealiseerde bevraging van de werkelijkheid is, uitgevoerd door toegewijde dienaren van de waarheid. Ze wordt daarentegen, naast de alom geprezen deugden die gewoonlijk toegeschreven worden aan wetenschappers, gestuurd door gewone menselijke drijfveren zoals ambitie, ijdelheid en hebzucht.

Wetenschap is niet de verhoopte geïdealiseerde bevraging van de werkelijkheid

Door wetenschappelijk wangedrag aan de kaak te stellen hadden Feder, Stewart, Broad en Wade gevloekt in de kerk. Hun gedrag werd allerminst in dank aanvaard door de academische wereld. Tot in het midden van de jaren tachtig de Amerikaanse kranten schreven dat Thereza Imanishi-Kari, een medewerkster van de bekende Nobelprijswinnaar David Baltimore, door een postdoctoraal onderzoeker beticht werd van gegevensvervalsing. De klokkenluider was niet enkel door Baltimore op een arrogante manier terechtgewezen, maar was ook ontslagen. De zogenaamde ‘Baltimore-affaire’ was voor het congreslid John Dingell de druppel die de emmer deed overlopen. Hij stelde een parlementaire onderzoekscommissie in over schendingen van de wetenschappelijke integriteit. De vragen die Dingell beantwoord wilde zien waren of onderzoekers, die voornamelijk gefinancierd worden met belastinggeld, genoeg zelfcorrigerend te werk gaan en of de wetenschappelijke wereld wel autonoom kan functioneren. Opnieuw reageerden vele onderzoekers verbolgen: ze zagen deze inmenging van politici als een bedreiging. Het laatste wat ze wilden was een bureaucraat die over hun schouders meekeek en controleerde of het geld van de belastingbetaler wel tot resultaten leidt die Jan met de pet tevreden stelt.

In de pers, waar de commissie veel aandacht kreeg, stond voornamelijk de vraag centraal of Baltimore, op dat moment rector van Rockefeller University, zelf boter op het hoofd had. Binnen de wetenschappelijke wereld leidde de onderzoekscommissie echter tot een stevige discussie over de verantwoordelijkheid die onderzoekers dragen voor hun publicaties, onder andere in een lange reeks brieven in het tijdschrift Nature. Een groep professoren van Harvard stond daarin lijnrecht tegenover hun collega’s van mit. De Harvardprofessoren verweten Baltimore en zijn mit-coauteurs slordigheid. Ze stelden de visie van een andere Nobelprijswinnaar, de natuurkundige Richard Feynman, als voorbeeld: een wetenschapper moet zélf aangeven wat er fout kan zijn met zijn bevindingen en wat zijn besluiten in twijfel zou kunnen trekken. Baltimore had zich volgens hen enkel bekommerd om zijn reputatie, niet om nauwkeurigheid en waarheid.

Een wetenschapper moet zelf aangeven wat er fout kan zijn met zijn bevindingen

Mede doordat Baltimores advocaten in beroep gingen tegen de initiële veroordeling van Imanishi-Kari duurde het jaren voor de onderzoekscommissie onder leiding van John Dingell tot een conclusie kwam. Of er inderdaad gegevens werden vervalst is een vraag die nooit eenduidig beantwoord werd. Of Baltimore te ver was gegaan in het beschermen van zijn medewerkster bleef nog lang een discussiepunt in wetenschappelijke middens. De belangrijkste vraag is echter of de zaak, uitvoerig becommentarieerd in kranten, in de Amerikaanse politiek én in wetenschappelijke tijdschriften, geleid heeft tot een veranderde academische cultuur en tot een daling van het aantal frauduleuze en onbetrouwbare publicaties. Stuart Ritchie geeft hierop een niet te negeren antwoord in zijn recente boek Science Fictions: Exposing Fraud, Bias, Negligence and Hype in Science.

Tachtig jaar geleden beschreef de wetenschapssocioloog Robert Merton vier principes die de ethos van moderne wetenschap zouden moeten vormen: (1) universalisme: het maakt niet uit wie een nieuw inzicht of een bevinding formuleert; (2) belangeloosheid: wetenschap heeft tot doel te begrijpen, onafhankelijk van belangen en vooroordelen; (3) gemeenschappelijkheid: kennis wordt gedeeld en wetenschappers zoeken samen naar de waarheid; en (4) georganiseerd scepticisme: niets is heilig, alles moet gecontroleerd worden. Ooit schreef Philip Abelson, toen editor van Science, dat 99,9999 % van de wetenschappelijke publicaties accuraat en waarheidsgetrouw zijn.

Het beeld van wetenschap als systeem van objectieve kennisverwerving dat Merton en Abelson schetsten, komt goed overeen met de visie van leken. Het contrast met de academische cultuur die Ritchie in zijn boek schetst (en gedetailleerd documenteert) kan bezwaarlijk groter zijn.

Kan een boek met ingrijpende kritiek op de wetenschap geloofwaardig zijn, terwijl we dagelijks geconfronteerd worden met nieuwe wetenschappelijke inzichten? Impliceert Ritchies positie een ontkenning van het feit  dat onderzoekers, op minder dan een jaar, een vaccin hebben ontwikkeld dat 95 % beschermt tegen covid-19? Trekt hij in twijfel dat sterrenkundigen zo veel meer weten over het heelal dan pakweg een halve eeuw geleden? Betwist hij de inzichten van klimatologen over de nefaste gevolgen van de opwarming van de aarde? Helemaal niet. Ritchie maakt van bij het begin duidelijk dat wetenschap de beste methode is om uit te zoeken hoe het universum, met alles erop en eraan, werkt – en hoe we het naar onze hand kunnen zetten. Met de wetenschappelijke methode is niets mis, zo argumenteert hij, maar met de academische cultuur des te meer. Die boude uitspraak staaft hij nauwgezet met referenties naar honderden empirische studies.

Het probleem ligt niet bij de wetenschappelijke methode, maar bij de academische cultuur

Ritchie toont aan de hand van een indrukwekkende reeks niet-repliceerbare onderzoeksresultaten het falen van het systeem aan. Hij begint met de psychologie – zijn eigen wetenschapsdomein – en haalt aan dat pogingen om bevindingen te repliceren uit experimenten over sociale priming, hónderden keren geciteerd in de literatuur, herhaaldelijk mislukten. In een grootschalige poging om 100 studies te repliceren, gepubliceerd in vooraanstaande psychologische wetenschappelijke tijdschriften, werd slechts 39 % van de gerapporteerde resultaten teruggevonden. In een soortgelijke studie werden de experimenten uit 21 sociaal-wetenschappelijke papers uit Nature en Science herhaald. Van minder dan twee op drie van deze prestigieuze studies konden de resultaten succesvol worden gerepliceerd. (Moeten psychologen nu vrezen dat hun werk in vraag wordt gesteld omdat het mogelijk de repliceerbaarheidstoets niet doorstaat? Neen: nauwelijks 1 % van de papers in psychologietijdschriften bevat replicatiestudies.)

Psychologie in het bijzonder heeft de afgelopen jaren een kwalijke reputatie opgebouwd, niet in het minst door de ophefmakende fraude van de Nederlandse hoogleraar Diederik Stapel. Het slechte imago dat daaruit volgde, zou kunnen doen vermoeden dat psychologie de rotte appel is in een verder gezonde academische fruitmand. Echter: de hele wetenschappelijke klas zit vol slechte leerlingen en Ritchie geeft meerdere voorbeelden. Van 18 micro-economische studies bleek slechts 61 % repliceerbaar (en in de economische wetenschappen is replicatieonderzoek nog zeldzamer dan in de psychologie). Studies over beeldvorming van de hersenen gebruiken vaak veel te kleine aantallen observaties, waardoor de resultaten ten minste ongegrond, maar heel vaak zelfs misleidend zijn. De evolutionaire biologie en ecologie bevatten gefalsifieerde handboekvoorbeelden. In de marinebiologie en de organische scheikunde blijken gepubliceerde resultaten niet herhaalbaar. Bovendien worden studies die niet repliceerbaar zijn vaak meer geciteerd dan studies die wel betrouwbaar blijken, waardoor onbetrouwbare bevindingen meer weerklank vinden.

Psychologie is niet de rotte appel in een verder gezonde academische fruitmand: de hele klas zit vol slechte leerlingen

In sommige wetenschapsdomeinen verplichten de tijdschriften auteurs om hun gegevens ter beschikking te stellen van de lezers. Hoewel je zou mogen verwachten dat gerapporteerde bevindingen gemakkelijk te reconstrueren zijn uit die gegevensbestanden, blijkt dat niet zo te zijn. Twee voorbeelden: in het domein van de empirische economie bleken de resultaten van slechts 10 % van 150 gepubliceerde studies reproduceerbaar op basis van de door de auteurs aangeleverde data. De situatie blijkt in de macro-economie niet veel beter te zijn, met 1 reproduceerbare bevinding op 3.

Je kan hopen dat het beter gesteld is in geneeskundig onderzoek. Daar staan immers levens op het spel. Maar ook daar zijn ontstellende cijfers te vinden. In een grootschalig Duits onderzoek waarin 67 studies uit de oncologie, gynaecologie en cardiovasculair onderzoek werden overgedaan, bleek niet meer dan een kwart van de resultaten repliceerbaar. In een gelijkaardig Amerikaans onderzoek werden 53 ‘landmark’-studies uit de hematologie en oncologie herhaald. Slechts 11 % van de gerapporteerde resultaten werd teruggevonden. Vaak is het zelfs onmogelijk om een studie op zijn betrouwbaarheid te controleren: bij een poging om 51 preklinische kankerstudies te repliceren bleek geen enkele van de betreffende papers genoeg informatie te bevatten om de studie op een getrouwe manier te herhalen. Slechts 5 van de 14 studies die na het opvragen van details bij de oorspronkelijke auteurs uiteindelijk toch konden worden herhaald, leidden tot dezelfde resultaten. Ritchie schat dat hierdoor, alleen al in de Verenigde Staten, jaarlijks 28 miljard dollar verloren gaat aan onbetrouwbaar onderzoek.

En dan is er publicatievertekening: het overgrote deel van de bevindingen die de drukpers halen, bevestigt de onderzoekshypothese. Niet-significante resultaten worden zelden gepubliceerd. Een recente studie over onderzoek naar de effecten van antidepressiva, bijvoorbeeld, toonde aan dat 53 van 105 geregistreerde onderzoeken positieve en de overige 52 negatieve resultaten opleverden. Uiteindelijk kwamen daarvan 77 onderzoeken in de literatuur terecht… waar voor 62 onderzoeken de bevindingen als positief werden gerapporteerd en slechts 5 als negatief.

Niet-significante resultaten worden zelden gepubliceerd

Misschien wordt het replicatieprobleem – ten dele – veroorzaakt door de complexe werkelijkheid die bestudeerd wordt. Menselijk gedrag, economische fenomenen en biologische processen kunnen immers beïnvloed worden door een zeer groot aantal factoren, waarvan onderzoekers zich soms niet eens bewust zijn. Bij het herhalen van een studie kunnen er bijgevolg soms onbedoelde, maar belangrijke verschillen optreden. Afwijkende resultaten bij herhaling van een onderzoek hoeven dus niet noodzakelijk het gevolg te zijn van bedrog of slordigheid. In anonieme bevragingen geeft echter 2 % van de onderzoekers toe ooit gegevens verzonnen of vervalst te hebben en dit cijfer is waarschijnlijk eerder een onder- dan een overschatting. Twee procent van (bijna) 4 000 Vlaamse professoren is… (bijna) 80.

Toch vormt dergelijke regelrechte fraude niet de grootste bedreiging voor de wetenschap. Het gevaar komt voornamelijk van de wijde verspreiding van ‘twijfelachtige onderzoekspraktijken’, zoals het verzwijgen van bevindingen (wat dan niet als liegen beschouwd wordt), het martelen van de data tot ze ‘significantie bekennen’ en zo verder. Schattingen over de prevalentie van dergelijke praktijken lopen uiteen van 33 tot meer dan 70 %.

Je kan je de vraag stellen of we verwonderd moeten zijn over de schaal waarop wetenschappelijke integriteit blijkbaar geschonden wordt. Ook in andere domeinen van de maatschappij is er immers veel oneerlijkheid. Wielrenners gebruiken doping en in het voetbal worden spelers omgekocht. Er zijn genoeg voorbeelden van handel met voorkennis en politici verdraaien de feiten, vooral in de aanloop naar de verkiezingen. Waarom zouden wetenschappers zich dan nooit bezondigen aan oneerlijkheid? Verleiding is er genoeg, want beslissingen over beurzen, aanstellingen, promoties, wetenschappelijke prijzen en onderzoeksgelden worden nog steeds in grote mate bepaald door aantallen publicaties, citaties en het prestige van de tijdschriften waarin onderzoekers publiceren. Omdat ‘mooie resultaten’ de kans op publicatie heel sterk vergroten, kan sjoemelen dus wel wat opleveren.

Omdat mooie resultaten de kans op publicatie sterk vergroten, kan sjoemelen wel wat opleveren

De Amerikaanse psycholoog Dan Ariely heeft een onderzoeksparadigma uitgedacht om oneerlijkheid te bestuderen. In zijn studies voeren proefpersonen een eenvoudige rekentaak uit met 20 opgaven. Ze weten dat ze betaald krijgen voor elke rekensom die ze in een beperkte tijd kunnen oplossen. Voor de helft van de proefgroep kijkt een proefleider nadien de oplossingen na, de andere proefpersonen worden gewoon op hun woord geloofd en ontvangen geld voor elke rekensom die ze beweren te hebben opgelost. 30 000 proefpersonen hebben aan een groot aantal variaties van dit basisparadigma deelgenomen. Daar zaten niet meer dan 12 (!) doorwinterde bedriegers bij waaraan Ariely in totaal 150 dollar ten onrechte heeft uitbetaald. Daarnaast waren er wel 18 000 proefpersonen die ‘een beetje’ valsspeelden en waaraan ten onrechte 36 000 dollar werd uitbetaald.

De analogie met wetenschap ligt voor de hand: de grootste bedreiging wordt niet gevormd door een klein aantal doortrapte fraudeurs, maar door een groot aantal minder zware vergrijpen die het wetenschappelijke kennisbestand toch ernstig ondergraven. Wetenschap verdraagt geen ‘klein beetje liegen’. Als het niet volledig waarheidsgetrouw is, dan is het geen wetenschap.

Ritchies boek gaat uitvoerig in op de oorzaken van misleidende publicaties. Misschien wordt de grootste bedreiging gevormd door de competitieve wedloop waarin de academische wereld verzeild geraakt is. Als je publicatieteller niet hoog genoeg staat, dan ligt de weg naar de uitgang wijd open. Er wordt immers nog steeds veel geteld en weinig gelezen wanneer de prijzen worden uitgereikt. Wat kan je dan verwachten van een jonge onderzoek(st)er wanneer hij/zij merkt dat zijn/haar concurrenten kiezen voor de strategie van Ariely’s proefpersonen uit de ‘vertrouwensconditie’? Hierop doordenkend kan ik enkel besluiten dat het aan de gewoon hoogleraren – de gevestigde professoren – is om de academische cultuur te veranderen. Zij zitten in de positie om beslissingscriteria te wijzigen. Het zijn ten slotte zij die het zo ver hebben laten komen dat we ons moeten afvragen over welke evidentie we spreken wanneer we ‘evidence-based practice’ willen aanleren aan de jonge mensen die we opleiden. Wanneer ik niet meer weet welke onderzoeksresultaten ik mag vertrouwen voor mijn eigen onderzoek en voor het onderwijs dat ik geef, dan is het einde zoek.

Wetenschap verdraagt geen ‘klein beetje liegen’

De meeste onderzoekers zullen beweren dat de Harvardprofessoren het bij het rechte eind hadden in de polemiek met hun mit-collega’s: in wetenschap moet het zoeken naar waarheid centraal staan, niet het verdedigen van het eigen gelijk of persoonlijke reputatie. Maar Ritchies boek toont aan dat zij eigenlijk het pleit lijken te verliezen. Samen met Stuart Ritchie weten we allemaal dat de wetenschap vooruit gaat. Onze wereld zou heel wat minder aangenaam zijn zonder de technologische en intellectuele inzichten uit het wetenschappelijke onderzoek en zelf zou ik misschien al niet meer geleefd hebben zonder de medische wetenschap. Maar dat wil niet zeggen dat het goed gaat met de wetenschap. Het kan veel beter. Het kan niet vaak genoeg herhaald worden, ook al klinkt het als vloeken in de kerk: het gaat niet goed met de wetenschap. Het kan zo veel beter. Het gaat niet goed met de wetenschap. Het moet veel beter.

Stuart Ritchie, Science Fictions: Explosing Fraud, Bias, Negligence and Hype in Science. (Londen: The Bodley Head, 2020).

Gert Storms is gewoon hoogleraar cognitieve (taal)psychologie aan de KU Leuven en heeft zich het afgelopen decennium verdiept in de literatuur over wetenschappelijk wangedrag en twijfelachtige onderzoekspraktijken. Hij is momenteel ook lid van de Vlaamse Commissie voor Wetenschappelijke Integriteit.