Te midden van alle recent geuite onvrede over het wetenschapsbedrijf in Nederland, willen wij het hebben over de verdeling van onderzoeksgeld. Wij signaleren daar Vier Grote Problemen:

1. Grote overhead. Wetenschappers besteden een onacceptabel deel van hun tijd in het schrijven en beoordelen van onderzoeksvoorstellen, waarbij financieringskansen heel klein zijn. Veel tijd gaat bovendien zitten in de discussie en lobby over prioritaire onderwerpen. Zo gaat bijna de helft van het onderzoeksbudget verloren aan het proces van fondsentoekenning.
2. Subjectiviteit. Rangschikken binnen de grote categorie van heel goede voorstellen is feitelijk onmogelijk, zoals blijkt uit het ontbreken van een verband tussen zulke ranking en achteraf gemeten impact. Loten is binnen die categorie dus even goed.  Lees ook het pleidooi voor loting door filosofe Ingrid Robeyns elders op deze site.
3. Buitensporige ongelijkheid. Een erg groot deel van de fondsen komt bij een kleine groep terecht. Dit frustreert niet alleen veel wetenschappers. Het is ook suboptimaal vanuit een maatschappelijk kosten-baten perspectief. Enerzijds is er de verminderde meeropbrengst, anderzijds maken we zo niet optimaal gebruik maken van de beschikbare diversiteit van wetenschappers. Meer weten over de nadelige gevolgen van ongelijkheid? Lees hier het artikel van Daniël Lakens.
4. Kunstmatigheid. Het systeem van financiering van onderzoeksvoorstellen gaat voorbij aan de rol van serendipiteit en flexibiliteit in topwetenschap. Er zijn wetenschappers die voorstellen indienen voor werk dat ze al gedaan hebben, maar nog moeten publiceren. Dat werkt, maar is eigenlijk een schijnvertoning.

Dit alles roept de vraag op of het mogelijk is fondsen te verdelen op een manier die deze scheef gegroeide voorstellenmachinerie omzeilt. Wij denken dat dit mogelijk is, door te vertrouwen op de wisdom of the crowd. Alle wetenschappers bepalen dan samen in welke medewetenschappers geïnvesteerd wordt. In een recent verschenen artikel Zie hier het artikel van Johan Bollen en anderen. Marten Scheffer heeft dit voorstel later omgedoopt tot SOFA.  deed Johan Bollen een voorstel voor zo’n vorm van self-organized fund allocation (SOFA).

Collectieve allocatie

De eerste stap in het voorstel is doodeenvoudig: de nationale pot wordt gelijk verdeeld over alle gekwalificeerde onderzoekers. Dat wil zeggen, principal investigators of PI's. Promovendi horen hier bijvoorbeeld niet bij. Elk jaar ontvangt iedere wetenschapper zonder voorwaarden een vast budget. Dat kan aardig oplopen: in Nederland betekent dit jaarlijks een basisfinanciering van ruwweg 30 duizend euro per onderzoeker. In de Verenigde Staten gaat het zelfs om zo’n 100.000 dollar per onderzoeker.

Het huidige financieringsmodel (links) vergeleken met SOFA (rechts).

Het tweede deel van ons voorstel zet de collectieve inzichten van de hele gemeenschap in om die vaste middelen verder te verdelen. Alle wetenschappers geven namelijk een fractie—bijvoorbeeld 50%—van alles wat ze ontvangen aan andere onderzoekers. Jaarlijks geven ze aan wie welk percentage krijgt. Het onderzoeksgeld stroomt zo van onderzoeker naar onderzoeker, en convergeert naar de mensen die de gemeenschap wil steunen. Wie wegens grote impact of status veel geld ontvangt moet uiteraard veel herverdelen. Wie weinig ontvangt kan altijd rekenen op de vaste jaarlijkse toelage. Uiteraard moeten er beperkingen worden ingevoerd om vriendjespolitiek en misbruik uit te sluiten, maar dat is nu ook zo. Een goed ontworpen website zou participanten de mogelijkheid bieden om—zogezegd vanaf hun eigen sofa—via SOFA hun fondsen te verdelen. Via dezelfde site kunnen ook externe partijen op aantrekkelijke wijze (delen van) het wetenschappelijk onderzoek financieren.

Genoeg over de implementatie, hoe zou zo'n verdeling er uit kunnen zien?

Computersimulaties

Op wiskundige gronden valt te beargumenteren dat dit systeem in theorie tot een optimale verdeling van onderzoeksgeld zou moeten leiden — in feite voert het namelijk Google’s PageRank  uit met geld. PageRank is een van de bekendste algoritmen van Google. Het gebruikt onderlinge verwijzingen tussen websites om de ‘relevantie’ van sites te ordenen. Net zo kunnen we wetenschappers ordenen in netwerken van co-citatie. Maar werkt het ook in de praktijk? Dat is moeilijk te zeggen zonder grootschalige experimenten, maar zonder voorafgaand bewijs van de doelmatigheid van het systeem komt zo’n experiment niet uit de startblokken. Een typisch kip-of-ei probleem.

Daarom hebben Johan Bollen en collega’s een grootschalige computersimulatie van SOFA uitgevoerd.  Vind hier het paper op arXiv.  Hierin werden de donatievoorkeuren van wetenschappers ingeschat middels hun historische citatiegedrag. Als uitgangspunt namen we een stuk van de Web of Science (WoS), een databank met wetenschappelijke publicaties. We bekeken alle wetenschappelijke publicaties in de WoS tussen 1992 en 2010. Dat zijn 37 miljoen papers en 770 miljoen citaties. Voor elk artikel verschaft de WoS naast de auteur ook de lijst van andere papers die worden geciteerd. We kunnen hiermee bepalen welke papers worden geciteerd door welke andere papers. Aangezien we ook de auteurs van die papers kennen, kunnen we zo precies bepalen welke auteurs elkaar citeren en hoe vaak.

 In onze simulatie veronderstelden we dat wie het meest wordt geciteerd ook de grootste individuele donatie zal ontvangen. Dus als Bas in 50% van de gevallen Ingrid citeert dan gaat onze simulatie er van uit dat Bas ook 50% van zijn verplichte donatie naar Ingrid zal sturen. Wetenschappelijk aanzien vertaalt zich zo rechtstreeks in onderzoeksfondsen. Let wel, dit gaat om een theoretische simulatie – niet om een voorstel om onderzoeksgelden daadwerkelijk te verdelen aan de hand van citatietellingen.

Met de achttien jaar aan citatiegegevens konden we vervolgens simuleren hoe het onderzoeksbudget van auteur naar auteur zou stromen als ze al die jaren het SOFA-systeem hadden gebruikt. Het eindresultaat van de simulatie was een distributie van onderzoeksgelden, die we vergeleken met de distributie van beurzen zoals werkelijk uitgereikt door de National Institutes of Health (NIH) en de National Science Foundation (NSF) in de Verenigde Staten.

We verzamelden voor meer dan 100.000 individuele onderzoekers (Principal Investigators of PI’s) gegevens over de grootte van hun NSF- of NIH-beurs, de startdatum, de duur van het project, en een algemeen overzicht van het studiedomein. Door deze gegevens naast onze simulatie te leggen, konden we zien of de verdeling van geld onder SOFA sterk zou afwijken van de huidige situatie. Eerst keken we naar de globale vorm van de distributie. Bijvoorbeeld of SOFA niet tot een “winner-takes-all” situatie zou leiden waarin enkele onderzoekers het gros van alle middelen zou vergaren (en Probleem 3 dus zou verergeren). Of, omgekeerd, dat de fondsen willekeurig zouden worden verdeeld, ongeacht behoefte of verdienste – een extreme vorm van Probleem II.

De resultaten waren duidelijk. We bekeken voor verschillende herverdelingsfracties — verschillende percentages die elke wetenschapper jaarlijks moet verdelen — hoeveel geld elke onderzoeker onder SOFA zou ontvangen. In figuur 1 is dat te zien, samen met de NIH- en NSF-verdeling. Een herverdelingsfractie van 1% leidt, uiteraard, tot totale gelijkheid: alle onderzoekers behouden hun vaste toelage, verdelen nauwelijks iets en krijgen dus nauwelijks iets. Een herverdelingsfractie van 99% leidt tot een scherpe verdeling waarin sommige onderzoekers heel veel ontvangen, maar de grote meerderheid heel weinig: zonder vaste toelage verzamelen alleen de meest gewaardeerde onderzoekers noemenswaardige donaties. De distributie berust dan geheel op prestige en status, en de noden van minder gewaardeerde onderzoekers en hun mogelijke waarde voor ons wetenschappelijk bestel worden daarmee genegeerd. Er zijn hier interessante paralellen te trekken met de rol van inkomensherverdeling in onze maatschappij. De herverdeling van inkomens en vermogens louter op basis van merite wordt misschien door velen als eerlijker ervaren, maar kan tot grote en zelfs dysfunctionele ongelijkheid leiden, zo stelt bijvoorbeeld econoom Gregory Clark.

Tussen die twee extremen (de donker- en lichtgroene lijnen) ligt een verdeling die nauw aanleunt bij de bestaande verdeling, namelijk bij een herverdelingsfractie van ongeveer 50% (de rode lijn). Intuïtief lijkt dat redelijk. Elke onderzoeker krijgt de helft van zijn geld op basis van wetenschappelijke merite—collectief bepaald door de donaties van alle andere onderzoekers—en de andere helft als een vaste toelage. Dit is wellicht een goede balans tussen prestatiegerichte beloning en gelijke kansen voor iedereen.

Onze simulatie toont, kortom, dat het SOFA-systeem het onderzoeksbudget hoogstwaarschijnlijk niet veel anders verdeelt dan nu. Maar dit wordt wel verwezenlijkt zonder alle kosten en nadelen van de huidige competitie voor projectsubsidies.

De simulatie kan ons meer leren. Onze data vertellen namelijk ook welke onderzoekers geld hebben ontvangen van de NIH en NSF. Zou SOFA (zonder onderzoeksvoorstellen en peer review committees) ook op individueel vlak vergelijkbare resultaten leveren?

Dat hoeft niet, zoals te zien op figuur 2. Op de x-as (horizontaal) staan de daadwerkelijk toegekende bedragen, uitgezet tegen de resultaten van SOFA op de y-as (verticaal). Als de simulatie precies dezelfde toebedelingen zou maken als de NIH en NSF, zouden alle onderzoekers (alle individuele stipjes) op een diagonale lijn moeten liggen—de lijn waarvoor geldt dat x = y. We zien daarentegen een sterke verspreiding waarbinnen sommigen veel meer onderzoeksgelden ontvangen onder SOFA dan van de NIH en NSF (rechts onder) en anderen juist veel minder. Niettemin is er sprake van een matige correlatie; de twee waarden lopen in veel gevallen gelijk op.  We berekenden een Spearman’s rank-orde correlatie coefficient van 0.300.

Figuur 2: De correlatie tussen feitelijke beurzen van NIH en NSF (2000- 2008) en de beurzen volgens het SOFA systeem (2000-2010) is matig maar statistisch significant.

Een wereld van verschil   

Samen tonen de resultaten dat SOFA onder redelijke aannames tot een vergelijkbare allocatie van geld zou leiden als binnen het huidige systeem. Op individueel vlak kunnen er sterke verschillen bestaan, maar dat is niet vreemd of zorgwekkend aangezien SOFA op een totaal verschillende manier te werk gaat: in plaats van projecten steunt SOFA onderzoekers; in plaats van evaluatiecommissies die winnende en verliezende projectvoorstellen kiezen, kiest de gehele wetenschappelijke gemeenschap collectief waar het budget aan moet worden besteed. Dat kan wel eens afwijken van de prioriteiten die door commissies of politici worden opgelegd.

SOFA zou redelijkerwijs in staat kunnen zijn om alle Vier Grote Problemen – overhead, subjectiviteit, ongelijkheid en kunstmatigheid – te verhelpen. SOFA werkt op een eenvoudige, transparante en kosteneffectieve wijze: het is een wereld van verschil met het huidige systeem. Daarom is het de moeite waard om uit te testen. Bijvoorbeeld door te beginnen met — laten we zeggen—10 procent van het nationale onderzoeksbudget. Als dat goed gaat, breiden we het uit, steeds verder, telkens het systeem optimaliserend, tot niemand het meer de moeite waard acht een beursaanvraag te schrijven. Want van alle voordelen, zou dat misschien wel SOFA’s grootste verdienste zijn: een halt toe roepen aan de immer stijgende hoeveelheid tijd die verdwijnt in een allesverslindende maalstroom van bureaucratie.

Onlangs werd geschat dat in Australië alleen in 2012 ruim vijf eeuwen tijd van wetenschappers is ‘verspild’ aan het schrijven van onderzoeksvoorstellen, Nature 21 maart 2014, p 213 en  in Nederland kan het niet veel anders zijn. Zo valt bijvoorbeeld hier te lezen  Natuurlijk, het schrijven van een voorstel is niet geheel verspilde tijd. Het helpt de gedachten te ordenen en te scherpen. Maar de zaak is nu buiten proportie gegroeid. Met SOFA zou al die tijd weer vrij komen voor waardevol en hoogwaardig onderzoek. Wij geloven dat het kan.