er gaan te weinig publieke middelen naar onderzoek. daarover lijkt haast iedereen het eens. er is heel wat minder eensgezindheid als het gaat over hoe de middelen voor onderzoek best verdeeld worden. aan de ku leuven was de voorbije jaren een denkgroep actief die zich boog over deze kwestie. die denkgroep concludeert nu dat de manier waarop die middelen momenteel verdeeld worden niet optimaal is, en stelt voor om tenminste een deel ervan op een radicaal andere manier te verdelen.
Kunnen we onderzoeksgeld beter verbranden dan verdelen?
Wetenschappers beoordelen het werk van andere wetenschappers, en bepalen uiteindelijk welk werk gepubliceerd mag worden. Toen men in de jaren zestig van de vorige eeuw grote publieke investeringen in wetenschappelijk onderzoek begon te doen, oordeelde men dat een grotendeels gelijkaardige methode gebruikt kon worden voor het verdelen van onderzoeksmiddelen. Die licht aangepaste methode houdt in dat wetenschappelijke comités, raden of fondsen wetenschappers vragen om projectvoorstellen te schrijven, waarna ze die voorstellen aan experten in het domein voorleggen. De voorstellen die door de experten als de beste worden gezien, krijgen ten slotte de gevraagde middelen. Wie niet succesvol was, kan een nieuwe aanvraag doen in een volgende ronde of via een ander kanaal.
Dergelijke projectfinanciering op basis van peer review geldt vandaag als internationale standaard, en Vlaanderen volgt die standaard. Alleen al voor fundamenteel onderzoek verdeelt het Fonds voor Wetenschappelijk Onderzoek (FWO) jaarlijks ongeveer 120 miljoen euro op deze wijze, terwijl de KU Leuven via haar Onderzoeksraad deze procedures gebruikt om elk jaar meer dan 60 miljoen euro uit het Bijzonder Onderzoeksfonds (BOF) te verdelen. Ook Europese middelen voor onderzoek worden bijna uitsluitend verdeeld op deze manier.
Op het eerste gezicht valt er veel te zeggen voor dit systeem. Het lijkt immers vanzelfsprekend dat wetenschappelijke experten het best geplaatst zijn om te bepalen welk onderzoek succesvol (in brede zin) zal zijn en dus financiering verdient. Toch zien we de laatste jaren vaak opiniestukken verschijnen waarin onderzoekers projectfinanciering bekritiseren als tijdsintensief, demotiverend en conservatief. Het zou ook zorgen voor onnodige druk op wetenschappers, en hier en daar is er zelfs een wetenschapper die durft te opperen dat de gebruikte verdelingsmechanismen de deur openen voor vriendjespolitiek. Deze opiniestukken zijn niet zomaar lege jammerklachten van wetenschappers die het systeem hard aanpakken omdat hun eigen aanvragen niet succesvol waren. De conclusies van de opiniestukken verschillen immers niet fundamenteel van de conclusies van wetenschappelijk onderzoek naar het huidige systeem.
Men gaat ervan uit dat peer review meer innovatie, excellentie en impact oplevert dan de alternatieven
Dat onderzoek gaat na of het systeem de doelen haalt die beleidsmakers en wetenschappers vooropstellen voor onderzoeksfinanciering. Beleidsteksten vatten deze doelen vaak samen met academische modewoorden als excellentie, impact en innovatie, en benadrukken daarnaast dat dit alles op een efficiënte wijze gerealiseerd moet worden. De keuze voor peer review van projectvoorstellen voor de verdeling van onderzoeksfinanciering gaat er dan van uit dat dit systeem meer innovatie, excellentie en impact oplevert dan alternatieve methodes zouden doen. De conclusies van het wetenschappelijk onderzoek leren ons dat dit verre van vanzelfsprekend is.
Een belangrijke reden hiervoor is dat projectfinanciering erg veel tijd kost. Onderzoekers besteden een groot deel van hun onderzoekstijd aan het bedenken en uitschrijven van aanvragen. Daarnaast moeten al die aanvragen ook beoordeeld worden door wetenschappers die deze tijd anders in eigen projecten zouden kunnen investeren. Hoewel onderzoek hierover beperkt is, zijn er verschillende schattingen die een goed idee geven van de grootteorde van de opportuniteitskosten. Onderzoekers aan topuniversiteiten in de Verenigde Staten zouden gemiddeld meer dan vier uur per week spenderen aan het schrijven van projectaanvragen. Voor het belangrijkste financieringskanaal voor biomedisch onderzoek in Australië werd berekend dat de tijdsinvestering in 2013 maar liefst 500 jaar onderzoektijd bedroeg – een equivalent van € 41 miljoen aan salaris – voor de financiering van ongeveer 700 projecten met een slaagpercentage van 21 % en een totale waarde van € 226 miljoen. In Vlaanderen kwamen zowel EOS Magazine als de KU Leuven-denkgroep over onderzoeksfinanciering onafhankelijk van elkaar uit op ongeveer 400 uur per wetenschapper per jaar voor alle projectaanvragen samen. De tijd geïnvesteerd in peer review moet daar dan nog bijgeteld worden.
De kosten van het systeem zijn dus hoog. Maar zijn ze te hoog? Dat hangt af van verschillende factoren, waaronder de succesratio en de validiteit van de uiteindelijke rangschikking. Aan de KU Leuven ligt de slaagkans relatief hoog: de laatste jaren worden een kleine 50 % van de projectaanvragen minstens gedeeltelijk gehonoreerd. Als de slaagkansen echter zo laag liggen als bij het FWO (ongeveer 20 %), dan overstijgen de kosten van peer review en niet-gehonoreerde projectaanvragen de wetenschappelijke winst van gehonoreerde projecten snel, zo tonen Gross en Bergström in een recent artikel. Bij dergelijk lage slaagpercentages zou het dus beter zijn voor de wetenschap om het beschikbare geld te verbranden.
Zowel wetenschappers als beleidsmakers zijn zich ervan bewust dat de opportuniteitskosten van het huidige systeem zwaar doorwegen. Toch houdt men bijna overal vast aan peer review van projecten. Men argumenteert daarbij dat dit uiteindelijk loont omdat het ervoor zorgt dat het geld bij de beste (‘meest excellente’) wetenschappers terechtkomt. Hoewel dit argument intuïtief plausibel lijkt, gaat het wellicht niet op. Ten eerste kan het best zijn dat alternatieve verdeelmechanismen zoals basisfinanciering en loterij met dezelfde middelen meer wetenschappelijke waarde creëren dan projectfinanciering. In die alternatieve systemen komen er immers veel middelen vrij voor onderzoek die in het huidige systeem nog besteed worden aan het evalueren en schrijven van projecten.
De opportuniteitskosten van het huidige systeem wegen zwaar door
Ten tweede is het niet zo duidelijk of beoordelaars echt in staat zijn om op basis van projectvoorstellen te voorspellen welk onderzoek succesvol zal zijn. Onderzoek toont dat de meningen van verschillende specialisten over hetzelfde project vaak sterk uiteenlopen. Of een project gefinancierd wordt, hangt dan af van de experts bij wie het toevallig terechtkomt. Panel-discussies lijken dit probleem niet op te lossen: hoewel binnen een panel wel vaak consensus bereikt wordt, is consensus tussen verschillende panels zeldzaam. Bovendien gebeuren de beoordelingen van projectvoorstellen vaak niet ‘dubbelblind’, en weten de beoordelaars en de panelleden dus wie de aanvraag doet. Dat creëert ruimte voor allerlei vooringenomenheden en voor vriendjespolitiek. Zeker de vrees voor dat laatste is niet uit de lucht gegrepen: bij alle onderzochte financieringsorganisaties werd vastgesteld dat de kans op financiering sterk steeg wanneer men – zonder daarom zijn of haar eigen aanvraag te beoordelen – deel uitmaakte van het beoordelingspanel of tot het netwerk van een panellid behoorde. Aangezien er geen validiteit is zonder betrouwbaarheid, mag het niet verbazen dat peer review ook zeer slecht is in het voorspellen van wetenschappelijk succes. Een reeks studies die gebruikmaken van data van honderdduizenden projecten tonen dat er geen of slechts een zwak verband is tussen de peer review-score van (gehonoreerde) projecten en hun impact, gemeten met bibliometrische indicatoren.
Ten slotte is het uitreiken van alle middelen aan de beste wetenschappers niet enkel onmogelijk, maar wellicht ook niet wenselijk. Dit zou immers voor een erg ongelijke verdeling van de middelen kunnen zorgen, en onderzoek toont aan dat dit allerminst efficiënt is. Er bestaat namelijk zoiets als een ‘funding sweet spot’: onder en boven een bepaald bedrag leveren geïnvesteerde onderzoeksmiddelen minder impact op per geïnvesteerd bedrag. Zelfs de allerbeste wetenschappers kunnen dus meer middelen hebben dan ze zinvol en efficiënt kunnen besteden. Wat precies het meest efficiënte bedrag is, blijft moeilijk te bepalen, onder meer omdat dit afhangt van de discipline, maar het is wel duidelijk dat het huidige patroon van sterke accumulatie van fondsen (het mattheüseffect) enerzijds en onderfinanciering anderzijds deze sweet spot mist.
Zelfs de beste wetenschappers kunnen meer middelen hebben dan ze zinvol kunnen besteden
Kortom, het is duidelijk dat peer review er niet echt in slaagt om het beste onderzoek te identificeren. Maar zelfs als peer review daar wel in zou slagen, dan hoeft dit nog niet te betekenen dat het ook de meest efficiënte methode is om onderzoeksmiddelen te verdelen. Bovendien blijken beoordelaars lagere scores te geven aan innovatievere projecten, en vooral te houden van onderzoeksvoorstellen die passen binnen het heersende onderzoeksprogramma. Aanvragers weten dat, en proberen dus vooral ‘veilige’ voorstellen te schrijven, zelfs wanneer ze eigenlijk meer risicovol onderzoek wensen te doen. Hoewel de term ‘innovatie’ wel in elk beleidsdocument over onderzoek en in zowat alle financieringsoproepen een keer of tien valt, kiezen financierders er dus eigenlijk voor om mechanismen te gebruiken die innovatie in de weg zitten.
We kunnen nu concluderen dat het huidige systeem niet realiseert wat het beoogt: het is een kostelijk systeem dat niet voor een optimaal rendement van het beschikbare onderzoeksgeld zorgt. Het slaagt er niet in om het geld bij de beste onderzoekers te krijgen en financiert eerder veilig dan innovatief onderzoek. Deze conclusie wijst op een kloof tussen wat de wetenschap ons leert over onderzoeksfinanciering enerzijds en het beleid gehanteerd door overheden, financieringsorganisaties en universiteiten zoals de KU Leuven anderzijds. Dit is opmerkelijk omdat die beleidsmakers zelf vaak en uitdrukkelijk vragen om een beleid dat evidence-based is.
De terughoudendheid om het systeem te veranderen kan natuurlijk te maken hebben met de beperkte aantrekkelijkheid van de alternatieven. Misschien lijkt de huidige procedure wel inefficiënt en conservatief, maar wordt ze nog steeds beter geacht dan de beschikbare alternatieven. En inderdaad, het verbranden van onderzoeksgeld is waarschijnlijk ook geen goede methode, ook al omdat het met de grenzen van de wettelijkheid flirt en op onbegrip van de belastingbetaler zou stuiten. Er zijn echter andere systemen die niet alleen legaal zijn, maar er vermoedelijk ook in slagen de opportuniteitskosten te beperken en tegelijk de wetenschappelijke innovatie bevorderen. Een verdeelmechanisme dat dan vaak genoemd wordt is de verdeling van onderzoeksmiddelen door middel van een loterij. Zulke gerandomiseerde verdeling van de middelen vermijdt belangrijke problemen die het huidige systeem kenmerken: er moet geen keuze gemaakt worden tussen verschillende goede projecten waarvan het succes niet voorspelbaar is, er moet geen tijd besteed worden aan peer review, en onderzoekers kunnen hun aanvragen ook beperken tot een kort en ruw voorstel. Bovendien kan echt ondermaats onderzoek vermeden worden door de loterij vooraf te laten gaan door een triage. Oordelen over wat echt onvoldoende is, blijkt immers betrouwbaarder en minder tijdrovend dan inschatten wat precies in de bovenste lade thuishoort.
Een ander systeem is misschien nog efficiënter. Dat systeem houdt in dat alle wetenschappers die degelijk onderzoek doen een vast bedrag krijgen. Dat bedrag zou dan natuurlijk best aangepast zijn aan de kostprijs van onderzoek in de discipline van de onderzoeker. Zulke ‘basisfinanciering’ gaat gepaard met weinig opportuniteitskosten, lijkt minder te demotiveren dan het huidige systeem, en zou aan de KU Leuven vermoedelijk ook dichter de funding sweet spot benaderen. Op het eerste gezicht niets dan voordelen dus.
Misschien is het efficiëntste systeem dat waarin degelijk onderzoek een vast bedrag krijgt
Toch staat niet iedereen te springen om dit alternatief een kans te geven. Een vaak gehoord bezwaar is dat dit systeem het meeste onderzoek zou onderfinancieren en tot een onaanvaardbare verdunning van de middelen zou leiden. We denken dat dat risico wel meevalt, zelfs als men een groot deel van de onderzoeksmiddelen op een bijna egalitaire wijze zou verdelen. Het risico is hoe dan ook beperkt als dergelijke basisfinanciering enkel toegepast zou worden voor een klein deel van de onderzoeksmiddelen (bijvoorbeeld voor 2/3 van de beschikbare BOF-middelen). Bij een dergelijke verdeling van 2/3 van de BOF-middelen zou er al voldoende zijn om alle onderzoekers een mooi bedrag voor onderzoek ter beschikking te stellen. Aan de KU Leuven zou een professor in een theoretische discipline dan jaarlijks ongeveer 45 000 euro krijgen, terwijl een professor in de duurdere (biomedische) wetenschappen jaarlijks op om en bij 75 000 euro kan rekenen.
Een tweede bezwaar luidt dat we onvoldoende kunnen inschatten wat de risico’s zijn van deze basisfinanciering voor de positie van onze instellingen in een steeds competitiever wordende onderzoeksomgeving. Men vergeet daarbij echter dat het in vele landen en aan vele instellingen al gewoon toegepast wordt, zonder dat die landen of instellingen in vrije val raken op de internationale rangschikkingen.
Ten derde bestaan er twijfels over het draagvlak voor basisfinanciering. Verkiezen onderzoekers – of toch de ‘zwijgende meerderheid’ onder hen – eigenlijk niet het huidige systeem? Daarover bestaat weinig onderzoek, maar enkele studies suggereren wel dat er veel steun is voor een substantiële hervorming. In Australië bleek meer dan zeventig procent van de ondervraagde onderzoekers voorstander te zijn van een grondige aanpassing. Een recente bevraging suggereert dat ook de KU Leuven-onderzoekers in meerderheid achter het verkennen van een hervorming staan. Daarmee is natuurlijk niet gezegd dat de meerderheid achter een hervorming staat in de richting van meer basisfinanciering of van een loterij. Onvermijdelijk zullen sommige onderzoekers en zelfs sommige disciplines verliezen bij basisfinanciering, en wie verliest bij een hervorming is zelden een voorstander van die hervorming.
Toen de bekende Duitse fysioloog Otto Warburg in 1921 een brief stuurde naar de Notgemeinschap der Deutschen Wissenschaft, stond er in die brief slechts één zinnetje: ‘Ich benötige 10 000 (zehntausend) Mark.’ De tijden zijn veranderd en misschien was het wel naïef om zoveel vertrouwen te stellen in wetenschappers. Maar tegelijk kan men er moeilijk omheen dat het geïnstitutionaliseerde wantrouwen zelf bijzonder kostelijk is, en dat in tijden waarin investeringen in wetenschap zowel schaars als broodnodig zijn.
Kevin Gross en Carl T. Bergstrom, ‘Contest models highlight inherent inefficiencies of scientific funding competitions’, PLoS biology, 2019, 17(1).
Stijn Conix werkt aan het Hoger Instituut voor Wijsbegeerte over de filosofische grondslagen van biologische classificatie en over de rol die waarden moeten en mogen spelen in de wetenschap.
Andreas De Block is wetenschapsfilosoof aan het Hoger Instituut voor Wijsbegeerte. Hij is geïnteresseerd in de relevantie van de wetenschappen voor de filosofie.
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivs 3.0 Unported License