- De universiteit , Mensen
- 13/07/2021
Meningen verschillen over nut Erkennen en Waarderen
Nog een lange weg te gaan met daarop de nodige beren
Begin vorige week publiceerde Cursor een samenvatting van het interview dat rector Frank Baaijens heeft gegeven over de voortgang van Erkennen en Waarderen. Na de zomervakantie gaat het College van Bestuur er verder over in gesprek met de drie interfacultaire commissies. Baaijens presenteerde ook de zes uitgangspunten die leidend zijn bij de verdere uitrol, zoals focus op kwaliteit in plaats van kwantiteit, beoordelen op meer competenties dan alleen publicaties en het binnenhalen van grants en het stimuleren van open science. Cursor peilde er binnen de universiteit de meningen over.
'Wetenschappers doen zoveel meer dan alleen hun research. Ze geven onderwijs, leiden hun afdeling, delen hun inzichten met het grote publiek. Maar ze worden vooral beoordeeld op hun onderzoeks-output. Dit gaat veranderen dankzij het nieuwe systeem van Erkennen en Waarderen, dat universiteitsbreed is uitgerold in Nederland', zo was begin februari te lezen in een kader onderaan een interview met onderwijsvernieuwer Rick de Lange op de website van de TU/e.
Cursor is benieuwd wat hoogleraren en Human Resource vinden van de nieuwe manier van waarderen, het systeem en de werkdruk. Ironisch genoeg konden verschillende van de gevraagde hoogleraren Cursor niet op korte termijn te woord staan door een overvolle agenda en eerdergenoemde werkdruk. Luc Brunsveld, Willem Mulder, Tom de Greef en Jaime Gómez Rivas en HR-beleidsadviseur Ineke van der Vegt vonden er nog wel een gaatje voor en delen hun mening. Het feit dat in dit stadium de plannen van de TU/e nog altijd niet volledig concreet zijn, is belangrijk om als kanttekening te plaatsen bij de feedback die de geïnterviewden erop geven. Er is gesproken over de speerpunten benoemd door Baaijens. “De concept-visie die is ontwikkeld door de Taskforce Erkennen en Waarderen is een belangrijke eerste stap”, zegt Van der Vegt. “Die moet zich nu onder meer gaan vertalen in de criteria waarop wij bij de TU/e onze huidige wetenschappelijke medewerkers en nieuw aan te trekken talent beoordelen."
Narratieve cv’s
Tom de Greef, universitair hoofddocent synthetic biology bij de faculteit Biomedical Engineering en hoogleraar aan de Radboud Universiteit en lid van De Jonge Akademie, denkt dat er twee discussies zijn. “Ik snap dat er op de universiteit een differentiatie moet worden gemaakt in profielen: sommige mensen zijn sterker in onderwijs, anderen in onderzoek. Liefst kun je allebei, maar je mag best een zwaartepunt leggen. Om hoogleraar te worden moet je excelleren op minstens een van die punten, ook logisch. Wat ik niet begrijp is de rol van NWO in dit proces. NWO is sinds kort overgestapt op narratieve cv’s en wil onderzoekers niet langer beoordelen op basis van kwantitatieve indicatoren. In de voorstellen wordt het publiceren van innovatieve studies in hoge impact tijdschriften helemaal niet meer meegenomen in de beoordeling. Die hoogstaande publicaties zijn juist zo belangrijk voor onze internationale concurrentiepositie. NWO moet gewoon zeggen: we willen de beste onderzoekers hier en dat is met getallen het beste te meten, vooral in de bèta en biomedische wetenschappen. Voor de meeste Europese grants is het namelijk wel gewoon zo dat je wordt beoordeeld op het aantal publicaties, de impact ervan, het aantal uitnodigingen voor lezingen, etc. Dat is toch vreemd om dat hier plots niet meer te doen? Ik snap dat je meer opties wilt hebben om mensen te waarderen, maar ik vind niet dat NWO daar een rol in moet spelen, dat is de rol die de universiteiten op zich moeten nemen.”
Willem Mulder, hoogleraar precision medicine aan de faculteit Biomedical Engineering bekijkt het simpel: “Er is een groep enthousiast over Erkennen en Waarderen en een groep die dat niet is. Veel wetenschappers in het bètaveld zijn er niet enthousiast over. Dat zegt genoeg. Het is prima dat verschillende vakgebieden hun eigen prestatie-indicatoren willen definiëren, maar de huidige one-size-fits-all herstructurering is geijkt op de sociale wetenschappen en dwingt de bètawetenschappen op een niet kwantitatieve manier te werk te gaan.” Maar rector Baaijens dan, die aan de TU/e aan het hoofd staat van de taskforce Erkennen en Waarderen, die heeft toch een bèta-achtergrond? Luc Brunsveld, hoogleraar chemical biology bij de faculteit Biomedical Engineering: “Dat is politiek.”
Niveau naar beneden
Brunsveld is het met De Greef eens. “Dat je iemand hoogleraar maakt op basis van zijn of haar leiderschap of onderwijskwaliteiten is prima. Maar dat betekent niet dat die persoon op basis daarvan onderzoeksbudget toegekend moet krijgen. Dit is een universiteit en onze eerste prioriteit moet toponderzoek zijn, want alleen daarmee heb je de noodzakelijke basis voor toponderwijs. Verzwakking van de focus op toponderzoek is funest voor de concurrentiepositie van ons land op de lange termijn. Het wordt ons opgelegd om samen te werken, puur om het samenwerken. En dat wil niet zeggen dat samenwerken niet goed is, we doen dat hier (op deze faculteit, red.) regelmatig, maar dat is bottom-up en komt omdat er twee goede individuele groepen naast elkaar staan. Als je twee teams uit de B-klasse samen zet, komt daar geen A-klasse uit. Sterker nog, als je een B-klasse team en een C-klasse team samen zet, gaat het niveau naar beneden.”
De Greef vult hem aan: “Een publicatie in Nature of Science is echt een wetenschappelijke doorbraak, geen geknutsel en zoveel beter dan in andere bladen.” Brunsveld: “Willem en ik hebben allebei een bedrijf opgericht en de financiering daarvoor zouden we echt niet hebben gehad omdat we zo goed op Twitter kunnen vertellen over ons onderzoek, maar door de wetenschap en het team erachter. Het enige dat telt als je echte valorisatie wilt doen. Natuurlijk moet je het delen met het publiek, maar het belang daarvan voor de BV Nederland wordt zwaar overschat.”
Jaime Gómez Rivas, hoogleraar surface photonics bij de faculteit Applied Physics, is wel blij met het concept van Erkennen en Waarderen en ziet een publicatie in Nature toch net iets anders. “Ik heb vele jaren geleden de San Francisco Declaration on Research Assessment (DORA, red.) ondertekend die zich op dit onderwerp richt. Daarin staat onder andere dat de output van wetenschappelijk onderzoek talrijk en gevarieerd is en dat we ons niet alleen moeten concentreren op de impactfactor (IF) van een tijdschrift bij het evalueren van een wetenschapper. Ik ben dus blij dat dit Erkennings en Waarderingssysteem er komt en we met die IF-onzin kunnen stoppen. Maar we moeten kritisch blijven: wordt de ene metriek niet vervangen door een andere metriek in dit nieuwe systeem? En wie haalt het uit de evaluatiecriteria van de commissies?”
Van der Vegt is het met Gómez eens dat we breder moeten kijken naar de wetenschappelijke output. “Erkennen en Waarderen richt zich op een meer narratieve onderbouwing van het cv, waardoor aantallen publicaties en je h-index een minder doorslaggevende betekenis krijgen. Het is in de beoordeling een omslag van kwantiteit naar kwaliteit. Dit is een grote verandering en ook een behoorlijke puzzel, want niet alles is objectief meetbaar en dat maakt beoordelen en vergelijken lastig..”
Het concept van de impactfactor van tijdschriften is ontzettend schadelijk voor de wetenschap
Impactfactor schadelijk
"Het concept van de IF van tijdschriften is ontzettend schadelijk voor de wetenschap", zegt Gómez. “Ik heb in veel commissies gezeten en die factor werd bijna altijd genoemd. De focus op die maatstaf leidt de aandacht af van de kwaliteit van het onderzoek. Zo wordt het belangrijker om een slecht artikel te publiceren in een tijdschrift met een hoge IF dan om een goed artikel te publiceren in een tijdschrift met een lagere IF. Hierdoor willen wetenschappers heel graag in specifieke tijdschriften publiceren vanwege hun IF, wat fraude in de hand werkt. Mensen die de evaluatietaak hebben ontbreekt het aan tijd om zich in te lezen in het daadwerkelijke onderzoek dat de kandidaat heeft gedaan. We kijken naar de impactfactor van de tijdschriften waarin ze publiceerden, want dat is de eenvoudigste en snelste manier, maar ook de slechtste. We moeten kijken naar de impact van het onderzoek, niet naar het tijdschrift!”
Werkdruk geen probleem
De werkdruk in de wetenschap zien Brunsveld, De Greef en Mulder niet als een probleem. Brunsveld: “Ik heb geen probleem met werkdruk, maar met nonsens waardoor de werkdruk toeneemt, zoals het nieuwe HR-systeem InSite.” De Greef begrijpt zijn collega wel: “Vroeger kon ik een tentamen nakijken en inleveren bij het onderwijsbureau, nu moet ik die resultaten allemaal zelf invoeren in Osiris.” Brunsveld: “Sommigen hier zeggen: ‘Meer dan 40 uur moeten werken is schandalig’. Maar niemand zegt dat over een voetballer, of een ondernemer. Sommige banen moet je met volle overtuiging doen, of niet.” Op de vraag of je een goede wetenschapper kunt zijn als je maximaal 40 uur per week wilt werken, antwoorden alle drie de heren eensgezind met 'nee'. De Greef: “Sommige mensen willen er wel volledig voor gaan en er hun vrije tijd insteken en die mensen zullen meer funding binnenhalen en publicaties in betere tijdschriften krijgen.”
Mulder: “Ik kom net uit de VS waar de toekenning van onderzoeksfinanciering voor biomedisch onderzoek in een super competitief systeem wordt georganiseerd door de National Institutes of Health (NIH). En ja, dat geeft veel stress. Alles, inclusief je eigen salaris en baan, zelfs op tenured full professor niveau, is afhankelijk van die onderzoekfinanciering en de wetenschappelijke output van je lab. Aan topinstituten in de VS wordt heel hard gewerkt en dat resulteert in baanbrekender onderzoek dan hier plaatsvindt. Ik wil niet zeggen dat het daar beter is dan in Nederland, maar de echte topuniversiteiten in de VS domineren Europa wel. Toch hebben we een uitzonderlijke positie in Europa. Kijk hoe succesvol Nederland is, we winnen zelfs Nobelprijzen. En dat goed functionerende systeem moet nu op de schop?! Als je dit beleid zou loslaten op NOC-NSF, dan hebben we op de volgende Olympische Spelen nul medailles.”
Ik heb geen probleem met werkdruk, maar met nonsens waardoor de werkdruk toeneemt, zoals InSite
Wetenschap wordt politiek
Als we kijken naar de implementatie van Erkennen en Waarderen binnen de TU/e, moet dat programma dan gelijk zijn voor alle faculteiten of moet dat per faculteit anders worden ingevuld? "Er kunnen verschillen zijn", meent Gómez. “Bijvoorbeeld bij valorisatie, omdat niet alle faculteiten even dicht bij de industrie staan. En je moet kijken naar individuele omstandigheden, maar daar hebben we helaas geen tijd voor. Een machine kan evaluaties uitvoeren op basis van cijfers. Maar een machine kan niet naar de persoonlijke omstandigheden van een individu kijken. De enige eerlijke evaluatie is een persoonlijke. Moeten we een onderzoeker met vier jonge kinderen die probeert er een evenwichtige privé-werksituatie op na te houden en een onderzoeker die zich volledig op het werk stort, gelijk beoordelen enkel op output en cijfers? Of een Nederlandse onderzoeker met een bestaand netwerk hetzelfde als een buitenlandse die net het land binnenkomt zonder netwerk? Is het antwoord ja, dan creëren we een niet-diverse universiteit vol nerds.”
“Meer individuele tracks betekent meer maatwerk, en tegelijkertijd willen we iedereen objectief en op grond van dezelfde criteria beoordelen”, zegt beleidsadviseur Van der Vegt. “Ik kan me voorstellen dat we met meer individuele carrièrepaden uiteindelijk een systeem krijgen waarin we iemand voor een promotie vooral beoordelen op de individuele (prestatie)afspraken in het Personal Development Plan, in plaats van op een lijstje met generieke criteria. Daarnaast verwacht ik dat competenties een grotere rol gaan spelen, maar ik denk dat het belangrijk is dat UD’s, UHD’s en hoogleraren vooral zelf meedenken hoe we dit het beste kunnen doen.”
Brunsveld: “Wellicht moet je wat diversificeren per faculteit of gebied. En sowieso, als we het overal hetzelfde doen, moet je weer inzetten op het laagste niveau. Er worden nu problemen uit de alfa- en gammahoek geprojecteerd op de bètawetenschappen. Mulder: “Die gewenste verandering vanuit NWO komen uit de sociale studies-hoek. Zo’n narratief cv is een soort herijking naar middelmaat, zodat iedereen, ongeacht academische achtergrond kan jureren. “Wij zeggen tegen hen toch ook niet dat ze moeten ophouden met die enquêtes en dat ze naar de de feiten moeten kijken”, vindt Brunsveld.
Risico van metriek
Onderwijs is een ander speerpunt in het nieuwe systeem, maar Gomez vraagt zich af hoe we dat dan wel goed gaan meten. “Hoe meet je succesvol zijn in het onderwijs? Aan de hand van de cijfers van de studenten? Via studentevaluaties? Dat is ook niet juist, want er wordt gediscrimineerd in die beoordelingen bij vrouwelijke en buitenlandse docenten. We zijn allemaal (onbewust) bevooroordeeld, dat is algemeen bekend. Gaan we in het nieuwe systeem meer discriminatie creëren? En hoe meet je ‘goed zijn in valorisatie’? Op basis van het aantal patenten? Of de winst van startups? Uiteindelijk ben je weer terug bij metriek en dat kan een serieus risico zijn. Metriek is pervers. Het maakt het systeem niet beter, integendeel, en vroeg of laat leert iedereen hoe ze die cijfers kunnen manipuleren met negatieve, zelfs dramatische gevolgen. Een beoordelingssysteem van chirurgen in de Verenigde Staten is gebaseerd op het overlevingspercentage van patiënten dertig dagen na de operatie", zo citeert Gomez het boek The Tiranny of Metrics van Jerry Z. Muller en zegt: "Dat zorgt ervoor dat ziekenhuizen de oude en/of twijfelachtige patiënten niet willen opnemen, want als ze dat doen, is de kans groter dat de operatie misgaat en dat zal hun beoordeling verslechteren. Dat risico geldt hier ook."
Van der Vegt erkent dat de focus nog ligt op onderzoek: “In de praktijk zien mijn collega’s en ik dat bij beoordelingscommissies (BAC’s) de focus overwegend ligt op het onderzoek, overigens zowel bij de kandidaten zelf als bij de commissieleden. Een voorbeeld: kandidaten geven een presentatie tijdens zo’n BAC en bij het merendeel van hen gaat ruim tachtig tot zelfs negentig procent van die presentatie over het onderzoek, terwijl men bijvoorbeeld hooguit veertig tot vijftig procent van de tijd aan onderzoek besteedt. Ik hoop dat Erkennen en Waarderen leidt tot meer evenredige aandacht voor ‘de andere activiteiten', zoals het geven van onderwijs, het begeleiden van PhD’s en PDEng’s en commissiewerk, en dat er naast aandacht voor het ‘wat’ ook meer ruimte komt voor discussie over het ‘hoe’.”
Ze vult aan: “Meer ruimte scheppen voor het eigen, unieke talent van onze wetenschappelijke staf: dát is het doel van Erkennen en Waarderen. Voor de afdeling HRM is dat een mooie uitdaging. Jaren geleden hebben we in het beleid ‘Excellent People attract Excellent People’ al de eerste stappen gezet. Bij de selectie en beoordeling van UD’s, UHD’s en hoogleraren wordt de commissie al gevraagd om breed te kijken, namelijk naar vier domeinen: onderzoek, onderwijs, valorisatie en organisatie & management. Dit wordt door enkele faculteiten inmiddels à la Erkennen en Waarderen vertaald als: onderzoek, onderwijs, impact en leiderschap. De teambijdrage hierin meenemen is een nieuw element.”
Erkennen en Waarderen zal de universiteit als werkgever meer divers en nog aantrekkelijker maken, maar het is wel echt een cultuuromslag
Behoefte aan diversiteit
“We hebben de neiging om mensen te belonen voor dingen waar we zelf goed in zijn - weer die gevestigde onbewuste vooringenomenheid”, zegt Gómez. “We moeten die commissies dus diverser maken om de evaluatie eerlijker te maken. We zouden ook tenure trackers en postdocs in de evaluatiecommissie moeten hebben, en meer vrouwen en niet-westerse medewerkers. Jongeren kunnen beter evalueren over onderwerpen die in de toekomst belangrijker zullen worden en waar senioren niet goed in zijn, bijvoorbeeld of de beoordeelde goed is in het communiceren van wetenschap in bijvoorbeeld sociale media. Dat is nu belangrijker dan voorheen, maar in commissies en evaluaties wordt daar nooit naar gekeken, waarschijnlijk omdat deze commissies alleen uit senioren bestaan.”
"We zeggen dat we diversiteit willen", vervolgt hij, "maar met de harde metriek die we gebruiken om te evalueren, creëren we het tegenovergestelde. Zo krijgen we maar één profiel. Als je diversiteit wilt, moet je stoppen met die cijfers. Veel studenten in mijn groep zijn zeer coöperatief. Ze stellen het belang van de groep boven dat van henzelf. Ze helpen andere studenten of collega's met problemen en helpen mij zonder dat het management erom vraagt. Misschien publiceren ze een paar artikelen minder dan anderen, maar zijn ze daardoor minder goede wetenschappers? Nee, ze zijn minstens zo goed en ze maken de groep sterker. Misschien moeten we ook beginnen met het evalueren van de beoordelaars, en een beloning baseren op dat resultaat. Dat geeft een extra prikkel om het beter te doen en om de tijd te nemen om verder te kijken dan de metriek.”
Van der Vegt ziet dat de beweging richting diversiteit wel in gang is gezet: “Uiteindelijk wil de TU/e de ontwikkeling van ieders unieke talenten stimuleren en faciliteren. Het mooie is dat die beweging naar meer diversiteit in carrièrepaden al aan het ontstaan is; de faculteit Applied Physics heeft bijvoorbeeld al stappen gezet naar een onderwijs-carrièrepad. Uiteindelijk zal Erkennen en Waarderen de universiteit als werkgever meer divers en nog aantrekkelijker maken, maar het is wel echt een cultuuromslag. Erkennen en Waarderen is daarom een traject van de lange adem, er zijn nog de nodige beren op de weg en we zijn er echt niet binnen een jaar klaar mee. Er zijn ook geen makkelijke oplossingen. Het belangrijkste is dat alle betrokkenen met elkaar de dialoog blijven voeren en dat we denken in oplossingen en kansen. Als we telkens kleine stapjes zetten, kunnen we samen een grote verandering tot stand brengen.”
Discussie