Deel dit artikel

verspilling van middelen in wetenschappelijk onderzoek moet worden vermeden. de groeiende aandacht voor gebrekkige wetenschapspraktijken is dan ook terecht. aan de hand van enkele voorbeelden uit het biomedische domein zoekt peter marynen naar manieren om de kwaliteit van het onderzoek te verbeteren en verspilling zo veel mogelijk te voorkomen.

De vrije hand: Het is wetenschappelijk bewezen dat …

Peter Marynen

‘Veel onderzoek (in de biomedische wetenschappen) leidt niet tot waardevolle resultaten, deels omdat sommige studies als doel hebben fundamentele mechanismen op te helderen die misschien weinig relevantie hebben voor de gezondheid van de mens. Daarnaast leiden ook goede onderzoeksideeën dikwijls niet tot de verhoopte resultaten.’ Met die uitspraak openen Iain Chalmers en collega’s hun analyse over hoe verspilling van middelen in wetenschappelijk onderzoek kan worden vermeden bij het stellen van onderzoeksprioriteiten. Daarmee trekken ze meteen de aandacht van de lezer, maar verderop wordt hun provocerende stelling over fundamenteel onderzoek genuanceerd. De publicatie maakt deel uit van de groeiende aandacht voor gebrekkige wetenschapspraktijken, met als resultaat een verspilling van middelen en dit in alle wetenschapsdomeinen. De exponentiële toename van publicaties over de ‘replicatiecrisis’ illustreert dit bij uitstek. ‘Replicatiecrisis’ duidt op de vaststelling dat vele wetenschappelijke conclusies niet kunnen worden bevestigd wanneer het onderzoek door een andere, onafhankelijke onderzoeksgroep of zelfs door de oorspronkelijke onderzoeksgroep herhaald wordt. Nieuw onderzoek dat (onwetend) zou voortbouwen op dergelijke op zijn minst twijfelachtige wetenschappelijke conclusies is een verspilling van middelen en leidt niet tot valabele praktijktoepassingen. Het woord ‘crisis’ duidt op een acuut probleem en katalyseert een brede discussie binnen wetenschap en maatschappij. Het zorgt er ook voor dat het debat uitdeint en onoverzichtelijk wordt. Om de discussie voldoende concreet en gefocust te houden zal ik mij hier beperken tot het biomedische domein, met voorbeelden uit mijn expertisegebied. De observaties en conclusies zijn echter van toepassing op een breed wetenschapsdomein.

Chalmers en collega’s analyseren drie elementen in het domein van het biomedische onderzoek: de verhouding tussen fundamenteel, translationeel en klinisch onderzoek, de keuze zelf van onderzoeksvragen in het translationele en klinische onderzoek en beroerde wetenschapspraktijken die leiden tot verspilling van middelen. Alle punten zijn belangrijk. De eerste twee vormen onderdeel van een eerder klassieke discussie en bespreek ik kort. De meeste aandacht zal gaan naar het derde punt.

Eén van de elementen in Chalmers discussie betreft de verhouding in de financiering van fundamenteel, translationeel en toegepast onderzoek; daarbij is er minstens de suggestie aanwezig dat fundamenteel onderzoek niet efficiënt is. Kort samengevat: veel fundamenteel onderzoek leidt niet tot bruikbare toepassingen en waar onderzoekers claimen dat specifieke fundamentele processen kunnen worden vertaald naar klinische toepassingen, worden die beloftes zeer zelden waargemaakt. Volgt de suggestie dat fundamenteel onderzoek overgefinancierd is en dat bij de selectie van fundamentele onderzoeksvragen de mogelijke klinische toepassingen een grotere rol moeten spelen. Dit is zeker geen nieuwe discussie en de argumenten dreigen eerder ideologisch te worden, maar ze blijft wel actueel. De analyses over de inefficiëntie van fundamenteel onderzoek gaan uit van een strikt onderscheid tussen de verschillende types van onderzoek. Dat is uiteraard een vereenvoudiging, maar ze kan helpen om de zaken scherp te stellen. De analyses gaan echter ook dikwijls voorbij aan enkele belangrijke punten.

Door fundamenteel onderzoek te reduceren tot een noodzakelijke voorwaarde voor de toepassing, zelfs al is die veraf en onvoorspelbaar, instrumentaliseert men de wetenschap

Efficiëntie is de verhouding tussen output en input. Fundamentele kennis (van biologische processen) is waardevol, ook zonder toepassing. Door fundamenteel onderzoek te reduceren tot een noodzakelijke voorwaarde voor de toepassing, zelfs al is die veraf en onvoorspelbaar, instrumentaliseert men de wetenschap. Het unieke en diepe verlangen van de mens om de wereld rondom zich te ‘begrijpen’ is een voldoende verantwoording voor fundamenteel onderzoek. Natuurlijk is translatie belangrijk, de wetenschappelijke methode is bij uitstek geschikt om oplossingen te vinden voor grote maatschappelijk uitdagingen. Maar die twee finaliteiten tegen elkaar afwegen doet beide tekort.

Verder wordt de periode tussen het ontwikkelen van nieuwe fundamentele inzichten en de toepassing ervan meestal sterk onderschat. Het gaat dikwijls om tientallen jaren, zelfs een halve eeuw. Ik veroorloof mij twee voorbeelden uit mijn onderzoeksdomein. In het begin van de vorige eeuw ontwikkelde Thomas Morgan samen met anderen de koppelingsanalyse, een genetische techniek die toelaat om voor een erfelijke ziekte die veroorzaakt wordt door een fout in één gen (mendeliaanse ziekte), het gen dat verantwoordelijk is voor de ziekte te lokaliseren in het genoom. Dat kan zonder dat er informatie is over de aard van het betrokken gen. Koppelingsanalyse maakt gebruik van genetische kaarten. Dat zijn schematische kaarten van het genoom, waarbij de merkpunten gevormd worden door plaatsen waar de tekst van het genoom variatie vertoont. We delen namelijk allemaal hetzelfde humane genoom dat bestaat uit een DNA-code met vier letters, maar een zorgvuldige inspectie leert dat de tekst van het genoom tussen twee personen verschilt in ongeveer 1 op 1 000 letters. De toepassing van koppelingsanalyse in de humane genetica startte met Felix Bernstein in 1931. De klinische toepassing van dat concept werd echter pas mogelijk nadat David Botstein in 1980 publiceerde dat nieuw ontdekte enzymen bij bacteriën, restrictie-enzymen, in staat waren om die variaties in het humaan genoom te detecteren op een schaal die voldoende was om de humane genetische kaart te construeren. De eerste genen verantwoordelijk voor mendeliaanse ziektes werden met een koppelingsanalyse gelokaliseerd midden jaren 1980 en vandaag, na één eeuw, is de meerderheid van deze ziektegenen gelokaliseerd en geïdentificeerd. Restrictie-enzymen werden ontdekt bij onderzoek naar de wijze waarop bacteriën erin slagen om infectie door virussen te bestrijden en hun belangrijkste toepassing ligt in het manipuleren van DNA in proefbuizen.

De identificatie van genen die verantwoordelijk zijn voor mendeliaanse aandoeningen heeft onmiddellijk geleid tot onderzoek naar de mogelijkheid om de fouten in die genen door gentherapie te corrigeren. Op een enkele uiterst beperkte uitzondering na heeft dat tot vandaag niet geleid tot klinische toepassingen van gentherapie. Maar de kans is groot dat gentherapie binnen enkele jaren de weg vindt naar de kliniek, en wel omwille van een nieuwe technologie, de CRISPR-CAS-technologie, die in 2012 ontwikkeld werd door Emmanuelle Charpentier en Jennifer Doudna. Beide onderzoeksters kregen daarvoor dit jaar een eredoctoraat aan de KU Leuven. De technologie laat toe om de tekst van een genoom in een cel op zeer specifieke wijze te corrigeren, zonder andere wijzigingen of sporen achter te laten (Cf. Philip Roelandt, ‘CRISPR/Cas9, de geknipte oplossing voor genetische manipulatie’ in: Karakter 52). Ze steunt op een bacterieel enzyme dat merkwaardig genoeg verantwoordelijk is voor een tweede verdedigingssysteem van bacteriën tegen vreemd DNA, bijvoorbeeld van virussen.

Dat in beide voorbeelden een verdedigingsmechanisme van bacteriën een essentiële rol speelt, is toeval, maar het laat me wel toe nog twee belangrijke opmerkingen te maken. De weg van fundamentele kennis naar de toepassing is niet lineair en onderzoek naar bacteriële afweermechanismen is geen voor de hand liggend startpunt voor onderzoek naar koppelingsanalyse of gentherapie. Dat is een aspect dat in de studies naar de efficiëntie van de vertaling van fundamenteel onderzoek naar de toepassing onvoldoende in rekening wordt gebracht. De voorbeelden kunnen ook tot enige bescheidenheid leiden bij het idee dat de selectie van fundamentele onderzoeksvragen mee moet worden gestuurd door de mogelijke toepassingen. Het verleden is natuurlijk even moeilijk te voorspellen als de toekomst, maar het is toch erg onwaarschijnlijk dat een comité van experten en belanghebbenden de studie van bacteriële afweermechanismen hoog op de prioriteitenlijst zouden zetten voor onderzoek naar mendeliaanse ziektes en gentherapie.

De selectie van de relevante onderzoeksvragen bij de financiering van translationeel (‘use-led basic research’) en klinisch onderzoek vormt een tweede belangrijk aandachtspunt van Chalmer en collega’s. De basisstelling is hier dat sommige onderzoeksvragen die patiënten en clinici belangrijk achten, zelden hun weg vinden tot bij de onderzoekers. Concreet: ‘van onderzoekers die hun eigen gang gaan, kan men niet verwachten dat ze dit verschil tussen vraag en aanbod oplossen’. Dat probleem wordt terecht gesteld en de scherpe formulering ervan heeft het voordeel dat ze in zich een deel van de oplossing draagt. De tegenstelling ontstaat voor een stuk door de strikte scheiding tussen clinici en onderzoekers. Het is niet nieuw te stellen dat de klinische realiteit translationeel onderzoek mee moet aansturen en dat dit alleen mogelijk is door een betere interactie tussen basisonderzoekers en clinici-onderzoekers. Dat is een opdracht voor beide groepen en de verantwoordelijken voor de onderzoeksomgeving. De prioritering van onderzoeksvragen is hier ook essentieel, een belangrijke opdracht voor de financiers, onderzoekers en patiënten. Horizon 2020, het EU-programma voor onderzoek en innovatie, is hiervan een goed voorbeeld. Dit overkoepelende EU-programma wil grote maatschappelijke uitdagingen aanpakken door een betere koppeling van wetenschap en innovatie. De keuze van de onderwerpen wordt bepaald door overleg met de verschillende betrokken partijen en de concrete programma’s worden uitgetekend in adviesraden met experten uit het domein. Translationeel onderzoek in het domein van de gezondheidszorg, demografische uitdagingen en welbevinden is een van de maatschappelijke uitdagingen die in het programma aan bod komen.

Een belangrijk deel van de conclusies van wetenschappelijk onderzoek houdt geen stand bij verder onderzoek of kan gewoonweg niet worden gerepliceerd

Als derde belangrijke oorzaak van verkwisting wijzen de auteurs op een gebrek aan kwaliteit van het wetenschappelijk onderzoek, zowel fundamenteel, translationeel als klinisch. Een belangrijk deel van de conclusies van wetenschappelijk onderzoek houdt geen stand bij verder onderzoek of kan gewoonweg niet worden gerepliceerd. Symptomatisch voor het probleem is de eerder vermelde exponentiële toename van publicaties over de ‘replicatiecrisis’. Die observatie is zeker niet beperkt tot de biomedische wetenschappen, maar zoals gezegd beperk ik me hier tot fundamenteel biomedisch onderzoek. De ernst van het probleem kan worden geïllustreerd door enkele cijfers. De resultaten van projecten die de repliceerbaarheid van belangrijke bevindingen in de biomedische literatuur onderzoeken bevestigen slechts tien tot vijftig procent van die bevindingen. Schattingen over de financiële impact claimen dat tot vijftig procent van de middelen in biomedisch onderzoek om die reden verspild wordt. Een cynicus zou opmerken dat een aantal van die studies en claims dezelfde gebreken vertonen als degene die ze aan de kaak willen stellen. Zo hangt de interpretatie af van de exacte definities die men hanteert, worden de gebruikte parameters niet altijd voldoende geëxpliciteerd en verantwoord of worden er algemene conclusies getrokken uit eerder beperkte steekproeven. Maar de exacte cijfers zijn hier niet de essentie, wel van belang is dat de onderliggende discussie een aantal belangrijke feiten in de wetenschapspraktijk aan het licht brengt. Daar onvoldoende aandacht aan besteden zou verkeerd zijn.

We moeten eerst en vooral opmerken dat wetenschappelijke resultaten en kennis die niet kunnen worden bevestigd, niet noodzakelijk het resultaat zijn van belabberde wetenschapspraktijken. Die resultaten en kennis worden in een specifieke context verworven, het is slechts door onafhankelijke bevestiging van de kennis via verschillende methodes dat de kennis en paradigma’s wetenschappelijke robuustheid opbouwen. Het niet bevestigen van een theorie kan bijvoorbeeld het resultaat zijn van het feit dat de onderzoeker noodzakelijk voortbouwt op de al bestaande kennis, en misschien nog niet alle parameters die een invloed kunnen hebben op een experiment kent. Sinds de ontwikkeling van de moleculaire genetica in de jaren 1970 zijn er regelmatig nieuwe, onverwachte concepten geïntroduceerd, zoals onderbroken genen (‘gene splicing’), chemische modificaties van het DNA en de eiwitten die aan het DNA binden (epigenetica), de rol van RNA-moleculen die niet coderen voor eiwitten, enzovoort. Geen enkele van die processen werd voorspeld, maar elk van die processen kan de resultaten van een genetisch experiment mee bepalen. Falsificatie van wetenschappelijke theorieën vormt een integraal deel van de wetenschappelijke methode. De middelen die geïnvesteerd werden in correct uitgevoerd onderzoek waarvan de conclusies later omwille van nieuwe inzichten en experimenten ontkracht worden, zijn geen verspilling. Wetenschapscommunicatie heeft dikwijls te weinig aandacht voor dit aspect van de wetenschappelijke methode. De zin ‘het is wetenschappelijk bewezen dat …’ wordt zelden gevolgd door een nuancering die een idee geeft over de robuustheid van die conclusies.

Helaas blijkt het gebrek aan herhaalbaarheid en robuustheid van wetenschappelijke resultaten in vele gevallen wel het resultaat van vermijdbare, bedenkelijke wetenschappelijke praktijken. Dat is een ernstig probleem omdat het de ontwikkeling van wetenschappelijke kennis vertraagt en de middelen die daardoor verloren gaan wel verspild zijn. In biomedisch onderzoek heeft dat directe gevolgen voor de ontwikkeling en werkzaamheid van nieuwe en bestaande therapieën. Naast de impact op de individuele patiënt tast het ook het maatschappelijke draagvlak voor biomedisch wetenschappelijk onderzoek aan. De bedenkelijke praktijken bestrijken alle aspecten van het onderzoek, zoals het ontwerp zelf van de onderzoeksprojecten, het gebruik van onvoldoende gekarakteriseerde reagentia en materialen, slordigheid in het rapporteren over de precieze uitvoering van de experimenten (protocol) en gebreken in de analyse en rapportering van de resultaten. Het is niet het doel van dit artikel om daar een algemene en technisch onderbouwde analyse van te maken. Ik vertrek liever van eerder anekdotische observaties om enkele opmerkingen te formuleren. De keuze van het voorbeeld is toevallig, een gelijkaardig betoog is mogelijk voor elk van de hierboven vermelde aspecten.

Samen met een farmaceutische firma hebben we een project ontwikkeld om te onderzoeken of een bepaald eiwit in de cel een mogelijk doelwit is voor een gerichte kankertherapie. Dit is een exploratieve basisstudie en we maken gebruik van een muismodel, waarbij we darmkankercellen injecteren om tumoren te verwekken. Zo kunnen we de rol van het eiwit in de ontwikkeling van de tumoren onderzoeken. Het is een klassieke strategie en de kracht én beperkingen van het model zijn gekend. Centraal in het experimentele opzet staat de gebruikte tumorcellijn. Het is mogelijk om cellen uit weefsels en tumoren in een kweekfles in het laboratorium te vermenigvuldigen. Als de cellen gedurende een langere periode kunnen worden vermenigvuldigd, spreken we van een cellijn. De ontwikkeling van cellijnen laat toe om experimenten te doen met goed gekarakteriseerde cellen en om daarbij snel verschillende omstandigheden te testen. Cellijnen kunnen ook met verschillende laboratoria worden gedeeld, zodat andere onderzoekers de resultaten kunnen bevestigen. Essentieel is natuurlijk dat de cellijn goed gekarakteriseerd is en dat de identiteit van de cellijn in de verschillende laboratoria vastligt. De cellijn werd in 1986 afgeleid van een darmkanker in een muis en is sindsdien in meer dan driehonderd publicaties gebruikt.

Veel cellijnen worden verdeeld door specifieke instellingen, zoals de ‘American Type Culture Collection’ (ATCC). De ATCC voert stringente kwaliteitscontroles uit en kan de identiteit van de verdeelde cellijnen garanderen. In dit geval is de cellijn niet verkrijgbaar via het ATCC, en zijn er ook geen alternatieve cellijnen in de collectie die geschikt zijn voor de muizenstam die we gebruiken. De cellijn wordt letterlijk van onderzoeker aan onderzoeker doorgegeven. Het is dus cruciaal om de identiteit van dergelijke cellijn te bevestigen. Ik heb dat voor de twintig meest recente publicaties die gebruikmaken van die cellijn nagekeken. De publicaties verschenen in zowel gespecialiseerde als meer algemene tijdschriften. De conclusie is dat er in geen enkele van die twintig publicaties ondubbelzinnige evidentie is voor de identiteit van de cellijn. In één publicatie wordt geschreven dat de identiteit van de cellijn bevestigd werd, zonder verdere informatie. Voor slechts één publicatie kan de oorsprong van de cellijn via opeenvolgende citaties teruggebracht worden tot de persoon die de cellijn ontwikkelde. In acht publicaties wordt niet vermeld vanwaar de cellijn afkomstig is, of wordt verwezen naar een andere publicatie die de oorsprong van de cellijn niet vermeldt. Drie publicaties claimen dat de cellijn aangekocht werd bij het ATCC, een vierde publicatie verwijst naar een referentie waarin geschreven wordt dat de cellijn van het ATCC afkomstig is. Eén publicatie verwijst naar verschillende eerdere eigen publicaties. In elk van die publicaties is de enige informatie over de herkomst van de cellijn de formulering dat de cellijn reeds lang voor verschillende projecten door het laboratorium gebruikt werd.

Die anekdotische observaties zijn niet onverwacht, maar wel confronterend. Voor alle duidelijkheid, ze tonen niet aan dat de gebruikte cellijnen niet overeenstemmen met hun vermeende identiteit. Wat stoort is dat in geen van de publicaties de identiteit van de cellijn positief bevestigd wordt en dat er in vele gevallen slordig wordt omgegaan met informatie over de cellijn of zelfs verkeerde informatie wordt gegeven over een dergelijk essentieel punt. Dit is een beperkte steekproef over één cellijn, onderzoek op grotere schaal suggereert dat minder dan de helft van alle publicaties informatie bezorgt over een positieve identificatie van de gebruikte cellijnen.

De identiteit van cellijnen is een reëel probleem. Het International Cell Line Authentication Committee (ICLAC) houdt een gegevensbank bij waarin op dit ogenblik meer dan vierhonderd cellijnen opgelijst staan waarvan de identiteit niet meer overeenstemt met de beweerde identiteit. Dat is het gevolg van contaminatie door andere cellijnen, verwisseling van stalen, enzovoort. Merkwaardig is dat 99 procent van de cellen op de lijst van vermeende humane oorsprong zijn. Er staat geen enkele muizencellijn op de lijst. Nu worden muizencellijnen ook zeer frequent gebruikt, dikwijls in laboratoria die ook humane cellen gebruiken. Er is dus geen verklaring voor het onevenwicht op de lijst en een zorgwekkende hypothese is dat er nog minder aandacht is voor de correcte identiteit van muizencellijnen. Het probleem is zeker niet recent. Een analyse van oudere publicaties levert zeer gelijkaardige gegevens op en de eerste rapporten over gecontamineerde cellijnen dateren van de jaren 1980. Illustratief is ook dat in de originele publicatie uit 1986, het ontstaan en de karakteristieken van de nieuwe darmkankercellijn uit dit verhaal in slechts vier regels werd beschreven. Het gebruik van het woord crisis insinueert dus een vorm van tijdelijkheid, die er waarschijnlijk niet is. Dat is echter niet belangrijk. Wel belangrijk is dat de discussie gevoerd wordt en dat ze moet leiden tot een kwaliteitsvollere, en dus efficiëntere wetenschapspraktijk. ‘Business as usual’ is hier geen optie.

Er zijn vele suggesties voor externe factoren die kunnen bijdragen tot een verbetering van de kwaliteit van onderzoek. Nieuwe elektronische publicatiekanalen bieden ruimte voor zeer gedetailleerde beschrijvingen van methodes en reagentia. Zij maken ook een interactieve discussie na publicatie, aanvullingen, verduidelijkingen en correcties mogelijk. Een ‘open data’-politiek, waarbij de onderliggende data van experimenten op een geordende wijze publiek worden, zal toelaten om de voorgestelde hypotheses na te kijken en alternatieve hypotheses uit te testen. Er zijn suggesties voor meer robuuste methodologieën, zoals de bredere toepassing van randomisatie en blinde experimenten. Een instelling als het ICLAC is een ander voorbeeld.

Centraal staat echter de wetenschapper. Het effect van die externe verbeteringen is kritisch afhankelijk van een verhoogde kwaliteitscultuur bij de onderzoekers. Academische instellingen hebben hier een centrale rol en verantwoordelijkheid, zij leiden de volgende generaties onderzoekers op. Het is hoopgevend dat de Vlaamse instellingen substantieel investeren in ‘Doctoral Schools’ die nu een integraal deel zijn van de universiteit. Het feit dat de ‘Doctoral Schools’ die maturiteit bereikt hebben, kan wellicht aanzetten tot een kritische reflectie over de problematiek van een verbeterde kwaliteitscultuur in het onderzoek. Crisis betekent dat er moet worden gehandeld. De brede discussie die nu gevoerd wordt, vormt de aanzet. Maar het zou bijzonder jammer zijn indien het zwaartepunt van het antwoord zou liggen bij meer formele structuren, criteria, regels en beperkingen en een bijkomende druk naar risicoloze wetenschap. De kern van wetenschappelijke vooruitgang en plezier in de wetenschap is het vrije denken, de exploratie van originele, onverwachte ideeën en de ruimte om open te staan voor serendipiteit.

Iain Chalmers I, Michael B. Bracken, Ben Djulbegovic, Silvio Garattini, Jonathan Grant, A.Metin Gülmezoglu, David W. Howells, John P. Ioannidis, Sandy Oliver, ‘How to increase value and reduce waste when research priorities are set’, in: The Lancet, 2014, 383 (9912).

Peter Marynen is als geneticus verbonden aan de KU Leuven.

Deel dit artikel
Gerelateerde artikelen