Is het voldoende om te weten dát een AI systeem met betrouwbare resultaten komt, of moet je ook kunnen uitleggen waarom dat zo is en waar het die resultaten op baseert? Het is maar de vraag of dat laatste mogelijk is bij modellen als ChatGPT. Wel is duidelijk waar zulke large language models voor getraind zijn, zegt Weerts, die zich met haar onderzoek vooral op traditionele machine learning richt, maar wel weet wat er op dat gebied voor deep learning bestaat. “We weten waarvoor geoptimaliseerd wordt tijdens het trainen van het algoritme, maar het is daarna niet per se duidelijk wat er daadwerkelijk geleerd is.”

Neem ChatGPT: dat model is niet getraind om feiten te herkennen, maar om te voorspellen wat het meest waarschijnlijke volgende woord is, legt ze uit. “We weten dus niet wat er wel of niet geleerd is. Er zijn bijvoorbeeld discussies over in hoeverre generatieve modellen trainingsdata reproduceren en in hoeverre ze met nieuwe dingen komen.” Het dynamische karakter van dit soort modellen maakt daarnaast dat ze moeilijk te toetsen zijn, vervolgt Weerts. “ChatGPT maakt een soort kansberekening voor het volgende woord, wat wil zeggen dat je niet met zekerheid kunt zeggen welk woord het zal ‘kiezen’. Bij een prompt kun je zeven keer hetzelfde en drie keer een ander antwoord krijgen. Dat is moeilijker te toetsen dan resultaten van bijvoorbeeld een voorspellend model waar een score uit komt.”

Verifiëren

Wanneer het niet mogelijk is om precies te achterhalen waarop een model resultaten baseert, zoals in blackbox-modellen als ChatGPT het geval is, kun je volgens Weerts wel nog achteraf verifiëren of de resultaten betrouwbaar zijn. En in sommige gevallen is dat volgens haar misschien ook wel genoeg. “Kijk naar medicijnen. Op een gegeven moment werd duidelijk dat als je citroenen at je geen scheurbuik kreeg, maar men wist niet waarom dat zo was. Later bleek het door vitamine C te komen. Hetzelfde geldt voor sommige medicijnen die we nu gebruiken. Het is misschien niet altijd bekend waarom ze werken, maar door ze helemaal kapot te evalueren en te toetsen in de context waarin ze gebruikt gaan worden, zijn ze toch betrouwbaar.” Juist als je niet exact weet wat er gebeurt, moet je valideren, vindt Weerts.

Die stap wordt volgens haar echter nu al vaak overgeslagen. “Terwijl je daar toch moet beginnen. Eérst kijk je of het systeem het beoogde doel behaalt en of het inherent ethisch is.” Dat laatste valt meer in het straatje van AI Ethics,wat gaat over of AI-systemen op ethisch vlak eerlijke resultaten geven. Weerts focust zich met haar onderzoek voornamelijk op fairness (eerlijkheid) van algoritmes. “Als je vanuit ethiek naar dit soort modellen kijkt dan is de vraag: waar is dit systeem voor gebouwd en vinden we dat oké – is dit de wereld die we willen creëren met z’n allen?” Er zijn schrijnende voorbeelden van bevooroordeelde  systemen die mensen onterecht als fraudeur aanwezen of mensen met een donkere huidskleur op foto’s classificeerden als apen. “Dat laatste gebeurde bij een image recognition algoritme van Google. Dat hebben ze opgelost door het woord gorilla niet meer te classificeren. In plaats van het echt op te lossen zetten ze er een patch op om alleen die specifieke situatie te voorkomen.” We zijn dus niet zo goed in vooroordelen uit AI-modellen halen, wil Weerts maar zeggen.

Dit probleem steekt ook de kop op bij large language models, die volgens Weerts “het hele internet leeg scrapen”. Als je daar de stereotypen uit zou willen halen, zou je de data moeten filteren, maar dat is erg complex. Ze noemt ook een ander probleem van het zomaar gebruiken van al die tekst en beelden op het internet: “De hele machtsverhouding gaat ermee kapot. Kijk naar het werk van kunstenaars. Grote bedrijven verkopen een product dat daarop gebaseerd is, maar de kunstenaars – die de grootste bijdrage hebben geleverd – ontvangen niks. Het is de devaluatie waar ik me zorgen over maak.”

Ze deelt de zorgen die Nuijten heeft over het bereiken van een vorm van algemene kunstmatige intelligentie (AGI) dan ook niet. “Ik ben banger voor dingen die nu al misgaan. Voor het uitroeien van de mensheid ben ik helemaal niet bang, ik denk dat de klimaatcrisis dat al veel eerder gaat bewerkstelligen. En ik maak me meer zorgen over beïnvloeding waarbij AI als tool wordt gebruikt door mensen met slechte intenties.” Door nu teveel aandacht te besteden aan het voorkomen van een eventuele superintelligentie die de wereld kan overnemen, ga je volgens Weerts voorbij aan de schade die nu al door systemen wordt aangericht. Ook Nuijten maakt zich hier zorgen over, evenals de klimaatcrisis. Al denkt hij dat voor het laatste nu wel een wereldwijd momentum is en dat voor de existentiële risico’s van AI ontbreekt. “In die zin voel ik me een beetje zoals wetenschappers in de jaren 90 die voor een klimaatcrisis waarschuwden.”

Kapitalisme

Ondanks het feit dat systemen schade aan kunnen richten, wordt AI door veel mensen ook juist gezien als de eerste technologie de wereld eerlijker zou kunnen maken voor meer mensen. “In theorie zou dat kunnen”, zegt Weerts daarop. “In de praktijk acht ik de kans alleen niet zo groot, omdat de spelers zo gewoon niet in elkaar zitten. Volgens mij leven we nog steeds in een vrij kapitalistische – of postkapitalistische – wereld.” Dat zorgt er volgens haar ook deels voor dat veel onderzoek dat vanuit de ethische-AI-gemeenschap onderzocht en ontwikkeld is, niet wordt toegepast door grote bedrijven: die hebben andere prioriteiten.

“Je ziet ook dat er een wedloop is geïnitieerd. Het resultaat daarvan is dat er steeds minder gepubliceerd wordt vanuit grote spelers. Terwijl er eerst een mooie open cultuur was.” Ook de publicatiecultuur in het algemeen binnen machine learning helpt volgens Weerts niet mee om vooruit te komen op het gebied van fairness en explainability. “Er wordt enorm veel gepubliceerd. Alles bijhouden is bijna niet te doen. Maar er zit ook een grote bak troep bij, omdat promovendi vooral worden gepusht om veel en snel te publiceren.” Echt eerlijke systemen ontwikkel je volgens haar door interdisciplinair te werken en niet door alleen laaghangend fruit te plukken. “Je kunt het fairness-vraagstuk niet oplossen door alleen technisch te kijken, of alleen vanuit Human Computer Interaction. En ook niet door alleen een jurist na te laten denken over transparantie. Je moet het echt samen doen.”

Het lijkt wel promotie voor EAISI, grapt Nuijten, omdat dat ook het doel is van het instituut. Maar hij weet zelf uit ervaring hoe lastig het kan zijn om mensen vanuit verschillende disciplines bij elkaar te brengen. Nuijten: “We delen hier startpakketten over uit waarop we reacties hebben teruggekregen die ChatGPT zou samenvatten als ‘leave me alone!’.” Weerts (grappend): “ChatGPT zou dat waarschijnlijk veel vriendelijker formuleren. ” Maar ze zijn het er beiden over eens: onderzoekers van verschillende disciplines zouden open moeten staan voor elkaars ideeën en van elkaar moeten leren. “Als je wil weten wat bias is: daar is al decennia onderzoek naar gedaan door de sociale wetenschappen”, zegt Weerts. “Dat hoeven we als computer scientists niet zelf te verzinnen.”

Voorspellen

Wat betreft fairness weet Weerts als geen ander wat er allemaal nog schort aan de huidige AI-modellen. Wegen daar de positieve resultaten van AI dan wel tegenop? Het ligt er maar net aan waar je je systemen voor gebruikt, zeg ze daarop. Nu op de stopknop drukken is volgens haar te rigoureus. Je kunt er ook genuanceerder naar kijken. “Ik kom oorspronkelijk van technische bedrijfskunde. Daar moet je dingen voorspellen zoals of een trein kapotgaat of niet en wanneer die trein onderhoud nodig heeft. Als je daar machine learning voor gebruikt: top. In het ergste geval voorspelt hij het een paar keer verkeerd, maar dat is geen ramp. Als we modellen gebruiken om te voorspellen of je iemand aan moet nemen voor een baan of niet, dan wordt het een heel ander probleem. Bij een trein is objectief vast te stellen of hij kapot is of niet, maar of iemand een goede werknemer is of gaat worden: zeg het maar.”

Zelfs aan het treinvoorbeeld zitten echter haken en ogen als het gaat om fairness, merkt Weerts op: “Zo’n systeem zou bijvoorbeeld alleen goed kunnen werken voor moderne treinen in de Randstad en niet voor oudere treinmodellen in Limburg (waar Weerts zelf ook vandaan komt, red.)”, zegt ze met een knipoog. “Er is altijd ruimte voor oneerlijkheid.”