- Onderzoek
- 30/06/2020
Geslaagde test met ‘red team’ voor doorlichten opzet onderzoek
Kritiek van collega’s op de opzet van wetenschappelijke studies moet niet pas achteraf plaatsvinden via ‘peer review’ van ingediende artikelen, maar juist voorafgaand aan het onderzoek - wanneer er nog aan die opzet geschaafd kan worden. Dat is de gedachte achter een proef die universitair hoofddocent Daniël Lakens (Human-Technology Interaction) met internationale collega’s opzette: ze rekruteerden een zogeheten ‘red team’ dat tegen betaling gaten mocht schieten in een onderzoeksprotocol. Het resultaat: 22 aanmeldingen, 107 aangedragen verbeterpunten en 660 uitgekeerde dollars voor een goed doel.
Als het kalf verdronken is, dempt men de put. In zekere zin is dat wat bij ‘peer review’ van wetenschappelijke publicaties gebeurt: een studie die slecht is opgezet, is natuurlijk grotendeels verspilde moeite. Nog even afgezien van het feit dat de put in veel gevallen helemaal niet gedempt wordt, omdat het onfortuinlijke beest gewoonweg niet wordt opgemerkt door de reviewers; dat zijn namelijk - onbetaalde - onderzoekers met een bijzonder drukke baan. In alle coronahectiek wordt dat niet beter; er zijn al diverse publicaties teruggetrokken, ook uit gerenommeerde tijdschriften, omdat achteraf bleek dat er forse fouten waren gemaakt - het reviewproces is dus zeker niet waterdicht.
Die situatie was voor sociaal psycholoog Daniël Lakens, die zich al zijn hele carrière inzet voor een betrouwbaardere wetenschap, reden om in het tijdschrift Nature te pleiten voor het inschakelen van zogeheten ‘red teams’ bij het opzetten van een onderzoek. Je organiseert daarbij je eigen kritiek, legt hij uit, door mensen van buiten te laten kijken naar de onderzoeksopzet en ze eventueel zelfs te belonen voor elke fout die ze vinden. “Vooral in de softwarebranche wordt dat principe veel gebruikt”, zegt hij. “Hackers worden daar betaald voor het aantonen van bugs of lekken in software.”
Lakens’ pleidooi sloeg aan bij zijn collega’s, zowel binnen als buiten de TU/e, waarna al snel het besluit genomen werd om het gewoon eens te proberen. “We besloten vijf mensen met verschillende achtergronden te rekruteren en die elk tweehonderd dollar te geven als beloning. Daarbovenop zouden wij voor elke fout die ze vonden nog eens honderd dollar doneren aan een goed doel naar hun keuze.” Het onderwerp van hun ‘red team pilot’ was een - al afgeronde - studie van Nicholas Coles, een postdoc van Harvard University met wie Lakens al eerder samenwerkte.
“Nicholas had onderzocht in hoeverre het effect dat je je vrolijker gaat voelen wanneer je glimlacht nu wordt veroorzaakt door de glimlach zelf, of door het feit dat iemand je vertelt dat je van glimlachen vrolijker wordt. Die studie was niet interessant genoeg bevonden door een toptijdschrift omdat het effect an sich al uitgebreid is aangetoond; toen hebben wij dit werk maar als study case genomen.” In principe was het logischer geweest om een nieuw onderzoek op te zetten, beaamt Lakens. “Maar dat zou voor zo’n proef als deze te veel tijd en geld hebben gekost; we wilden gewoon snel proberen of het überhaupt zou lukken om zo’n red team bij elkaar te krijgen.”
De respons op hun oproep viel niet tegen, vertelt Lakens. “We kregen 22 aanmeldingen binnen, van gearriveerde wetenschappers tot een student uit Brazilië. Hieruit hebben we willekeurig vijf personen gekozen met verschillende expertises, zoals statistiek, theoretische achtergrond en reproduceerbaarheid van de methode. Die hebben gemiddeld twaalf uur besteed aan hun analyse en kwamen met 107 potentiële verbeterpunten, die we hebben laten beoordelen door Ruben Arslan, een collega die in Berlijn werkt. Hij kwam tot een zestal kritieke fouten en een aantal kleinere, in totaal goed voor 660 dollar voor het goede doel.”
Ik ben ervan overtuigd dat de leden van het 'red team' er meer tijd in hebben gestopt dan de gemiddelde peer reviewer
Eén van de cruciale verbeteringen was dat de proefpersonen werden geïnstrueerd door mensen die het doel van het onderzoek kenden, licht Lakens toe: “De opzet was dus niet dubbelblind, zoals we dat noemen, en dat kan de uitkomst beïnvloeden. Nicholas heeft naar aanleiding van de opmerkingen van het red team besloten om een aanvullende studie op te zetten om die kritiekpunten te ondervangen.”
Al met al was het experiment een succes, vindt de sociaal psycholoog. “Voor hetzelfde geld had niemand gereageerd, of hadden ze slechts opmerkingen gehad waar we niets aan hebben. De deelnemers waren ook erg positief en het lijkt erop dat de extra beloning per gevonden fout niet eens nodig is ter motivatie. Ik ben ervan overtuigd dat deze mensen er meer tijd in hebben gestopt dan de gemiddelde peer reviewer, ook omdat ze ervoor betaald worden.”
Na deze geslaagde proef denkt hij erover om in samenwerking met een tijdschrift te kijken of ze de kritiek van red teams naast de officiële rapporten van de peer reviewers kunnen leggen. “Als we dat voor een groter aantal publicaties doen, moeten we zeker conclusies kunnen trekken over het nut van red teams voor de wetenschap.”
Discussie