- Onderzoek
- 20/04/2015
Model verslaat expert
Als je wilt weten welke ziekte je onder de leden hebt, ga je liever naar een ervaren arts dan dat je een simpel vragenlijstje op de computer of smartphone invult. Toch moet je het oordeel van zo’n expert van vlees en bloed niet overschatten, weet Chris Snijders, hoogleraar Sociologie van Technologie en Innovatie in de groep Human-Technology Interaction. “Als je een expert vraagt om een aantal regels waarmee je hem zou kunnen nabootsen, dan presteert een beslismodel dat die regels volgt meestal beter dan de expert zelf. En toch worden die beslismodellen nog maar nauwelijks toegepast.”
Chris Snijders is zelf een expert op het gebied van het beoordelingsvermogen van experts, en de rol die (computer)modellen kunnen spelen bij het maken van beslissingen, zoals het stellen van een medische diagnose. Naar zijn mening worden dergelijke beslissingsondersteunende modellen nog veel te weinig gebruikt. Situaties waarin experts hun virtuele concurrenten overtreffen zijn namelijk zeldzaam, vertelt hij. “Het schijnt dat mensen aan de bliepjes op de radar beter kunnen zien om wat voor vliegtuig het gaat dan de computer. En vogelspotters hebben aan een vlekje aan de horizon genoeg om de soort vast te stellen. Dat doet geen computermodel ze nog na. Maar je moet in de literatuur echt zoeken naar dergelijke uitzonderingen.”
Toen dermatologen van het Catharinaziekenhuis de TU/e enkele jaren geleden benaderden met het probleem dat ze overspoeld werden door bezorgde mensen die een verdacht vlekje op hun huid hadden gevonden, zag Snijders direct kansen om te testen of het diagnosticeren van mogelijke beginstadia van huidkanker wellicht zo’n uitzonderlijk geval is waarin de medische specialist het beter doet dan een vragenlijst. “Net als bij de voorbeelden die ik noemde, gaat het om het beoordelen van vage vlekjes. Ik gaf de experts dus een goede kans.” Het plan was een protocol te ontwikkelen om de huisarts te helpen mensen met onschuldige vlekjes opgelucht naar huis te sturen, in plaats van naar de overvolle afdeling dermatologie.
De app OddSpot herkent huidkanker beter dan de huisarts
Samen met zijn collega Ad Kleingeld zette hij een aantal afstudeerders aan het werk, wat resulteerde in een app voor de smartphone: OddSpot. Op basis van veertien eenvoudige vragen over het vlekje (kleur, grootte, gevoeligheid) en de leeftijd, het huidtype en zongedrag van de potentiele patiënt, aangevuld met een foto van het plekje, geeft OddSpot de kans dat het gaat om ‘actinische keratose’ of ‘basaalcelcarcinoom’, twee van de meest voorkomende voorstadia van huidkanker.
Na uitgebreide tests bleek de app vrijwel even betrouwbaar te zijn als de dermatoloog: in ruim negentig procent van de gevallen was de diagnose correct. Daarmee overtreft OddSpot de verpleegkundigen van de afdeling dermatologie - en uiteraard ook de niet-gespecialiseerde huisartsen.
Het is Snijders en collega’s dus gelukt om een succesvol protocol op te stellen voor de diagnose van bovengenoemde vormen van huidkanker. Dat betekent echter niet dat het ook al in de praktijk wordt gebruikt. “Voor een deel komt dat doordat de betrokken dermatologen na onenigheid met de directie vertrokken zijn bij het Catharina”, verklaart Snijders. Maar het past volgens hem ook helemaal in het bekende patroon: hoe vaak uit onderzoek ook blijkt dat beslismodellen beter werken dan de huidige (medische) praktijk, ze worden nog slechts zelden toegepast. “De redenen om niet te implementeren zijn ook heel makkelijk te verzinnen: wie kunnen we de schuld geven als het fout gaat, is zo’n model echt wel zo goed als het beweert te zijn, en hoe kan zo’n model rekening houden met allerlei toevalligheden die ook een rol spelen?”
Experts krijgen te weinig feedback over hun voorspellingen
Het tekent de problemen waar men op stuit bij het in de praktijk brengen van beslissingsondersteunende modellen. Als zelfs experts - die snappen dat het model werkt - weigeren om de adviezen over te nemen, kun je niet verwachten dat patiënten zich met een vragenlijst naar huis laten sturen. “Het is heel menselijk om vertrouwen te hebben in iemand die overal snel een antwoord op heeft, en dit met zelfvertrouwen brengt. Het blijkt ook dat een huisarts die iets opzoekt in de computer meteen als minder capabel wordt beoordeeld, terwijl het soms heel verstandig is om bijvoorbeeld de bijwerkingen van verschillende combinaties van medicijnen te checken.”
Eigenlijk zijn veel experts slecht getraind op voorspellende taken; ze krijgen te weinig feedback over de resultaten, legt Snijders uit. “Als je leert autorijden, dan merk je het meteen als je een stuurfout maakt. Daarom kan bijna iedereen het leren. Maar een dermatoloog ziet een patiënt die onterecht is weggestuurd pas na maanden weer terug. En het omgekeerde maakt ook weinig indruk: als een positieve diagnose achteraf toch geen huidkanker blijkt te zijn, is er ook niets aan de hand.”
De moeizame acceptatie van beslismodellen is niet voorbehouden aan de medische wereld, benadrukt Snijders, maar de gevolgen zijn daar wel bij uitstek wrang. “Je kunt in ziekenhuizen potentieel duizenden levens redden door je te houden aan simpele regels in de categorie ‘was regelmatig je handen’. Daar zijn althans sterke aanwijzingen voor, maar we doen daar veel te weinig mee.” Ook voor acute pijn aan de borst is in de literatuur een simpel beslismodel bekend, vertelt hij, gebaseerd op vier eenvoudige variabelen, dat beter werkt dan het vaak gebruikte uitgebreide intakegesprek van een half uur. “Dat is mijn grootste angst. Dat ik straks zelf op een eerste hulp met acute pijn op de borst binnenstrompel, en dan eerst de dienstdoende arts moet overtuigen dat mijn telefoon het misschien beter kan.”
De app OddSpot is beschikbaar voor Android en iOS.
Discussie