Al ruim een decennium groeit het besef binnen de wetenschap dat veel onderzoeksresultaten een stuk minder betrouwbaar zijn dan vaak werd aangenomen - ook van toonaangevende studies. Dat speelt met name in de psychologie, het vakgebied waarin Peder Isager is opgeleid, maar ook bijvoorbeeld in de medische wetenschap. “De huidige inschatting is dat de kans dat je bij het overdoen van een specifieke studie binnen deze vakgebieden op dezelfde conclusies uitkomt, niet hoger is dan grofweg vijftig procent”, vertelt Isager.

“Toch zie je in de psychologie dat soms honderden vervolgstudies voortbouwen op slechts een paar baanbrekende onderzoeken, waarvan de uitkomsten achteraf helemaal niet te repliceren zijn gebleken.” Als voorbeeld noemt hij het concept ‘ego depletion’, de intuïtieve gedachte dat wilskracht gezien kan worden als een vorm van mentale energie, die tijdelijk op kan raken als je er te veel van nodig hebt. “Wilskracht zou werken als een soort spier die vermoeid kan raken.”

Dat zou onder meer zijn aangetoond in experimenten waarin proefpersonen een onoplosbare puzzel werd voorgeschoteld. Een deel van hen moest tijdens het werk aan de puzzel ook nog eens weerstand bieden aan een schaal met versgebakken koekjes. Die groep gaf het puzzelen veel eerder op dan de controlegroepen. “Dat onderzoek is enkele jaren geleden overgedaan, maar toen bleek het effect van ego depletion helemaal niet zichtbaar. Dan stort zo’n onderzoekslijn als een kaartenhuis in elkaar.”

Negatieve resultaten

Hoe kan het dat uit vervolgonderzoeken niet veel eerder is gebleken dat zo’n concept op drijfzand is gebaseerd? Als voornaamste reden daarvoor noemt Isager, die zijn promotie uitvoerde binnen de groep Human-Technology Interaction (TU/e-faculteit IE&IS), de grote invloed van de zogeheten ‘publication bias’. “Tijdschriften zijn zelden genegen om studies met negatieve resultaten te publiceren, waardoor wetenschappers altijd op zoek zijn naar nieuwe, positieve resultaten”. Wordt in een studie het verwachte effect niet aangetoond, dan verdwijnen die resultaten vaak in een bureaula. Binnen de psychologie bestaat daardoor volgens de Noor slechts één procent van de publicaties uit het soort herhaalonderzoek dat eigenlijk nodig is om de kwaliteit van het vakgebied te bewaken.

Ook als een studie niet leidt tot bevestiging van de onderzochte hypothese, kun je overigens vaak achteraf nog wel een nieuw, significant resultaat uit onderzoeksdata destilleren, benadrukt hij. “Dat kun je niet direct fraude noemen; wetenschap zit nu eenmaal slordiger in elkaar dan je zou wensen.” Om die reden wordt ook steeds vaker aangedrongen op pre-registratie van studies. Onderzoekers delen dan voorafgaand aan een experiment zowel de exacte onderzoeksopzet als de hypotheses die ze willen onderzoeken. Dat moet wetenschappers weerhouden van oneigenlijk gebruik van hun eigen onderzoeksdata.

Replicatiewaarde

Kortom: gevreesd wordt dat er de komende tijd nog wel meer lijken uit de wetenschappelijke kast komen. En dat kan dan maar beter zo snel mogelijk gebeuren, voordat de literatuur nog verder vervuild raakt met feitelijk onbewezen inzichten. “De essentiële vraag is waar je dan het best kunt beginnen”, zegt Isager. “Er is namelijk onvoldoende tijd en geld om alle studies te herhalen. Voor mijn promotie heb ik daarom onderzocht op basis van welke criteria je het best kunt bepalen welke studies het belangrijkst zijn om te repliceren. Kunnen we aan elke studie een objectieve replicatiewaarde toekennen?”

In het algemeen kun je stellen dat zo’n replicatiewaarde af zou moeten hangen van zowel het belang van een studie, als van de onzekerheid over de uitkomsten. “Die onzekerheid hangt in de psychologie grotendeels samen het aantal onderzochte personen. Het beláng van een psychologisch onderzoek is meestal lastiger objectief vast te stellen.”

Levensjaren

In de economie en medische wetenschappen bestaan meestal wél voor de hand liggende objectieve maatstaven voor de potentiële waarde van een replicatiestudie. Denk aan het aantal gewonnen gezonde levensjaren, of de hoeveelheid geld die kan worden verdiend. In de psychologie is het belang van een onderzoek in het algemeen abstracter. “Daarom hebben we gekozen om de citatiescore te nemen als maat voor het belang van een studie. Dat is niet perfect, maar is wel een belangrijke indicatie van hoe invloedrijk een artikel is binnen het vakgebied.”

Hoewel Isager een formele basis heeft gelegd voor een objectieve replicatiewaarde, is het volgens hem nu nodig om deze in de praktijk te testen. “Daarvoor zou je onze formule moeten vergelijken met een ‘gouden standaard’, zoals mensenlevens of dollars, in situaties waarbij dat mogelijk is. Maar dat blijkt lastig.” Liefst zou hij dat zelf doen, geeft hij toe. “Hoewel dat niet echt een project is voor één persoon.”

Evangelie

Vooralsnog geeft hij les aan Oslo New University College, een plek waar hij al sinds het begin van de pandemie parttime onderdak had gevonden. “We moesten toch binnen blijven, dus ik heb op een gegeven moment maar besloten dat ik dat liever in de buurt van mijn vriendin en familie in Noorwegen wilde doen. Sindsdien ben ik nog een paar keer voor een aantal maanden terug geweest in Eindhoven. Nu mijn proefschrift af is, ben ik fulltime aan de slag in Oslo om een nieuwe masteropleiding op te zetten.”

In die functie is hij in ieder geval van plan om het replicatie-evangelie in de praktijk te brengen. “Voor studenten is het overdoen van een klassieke studie een ontzettend leerzame ervaring. En ook heel spannend, omdat we nu weten dat het zomaar andere resultaten kan opleveren. Ik ga het mijn studenten zeker van harte aanraden!”