ChatGPT en vergelijkbare modellen worden ook wel black box-modellen genoemd. Die beschrijving is gebaseerd op het feit dat niemand precies weet hoe het systeem tot bepaalde antwoorden komt. Dat wil niet zeggen dat niet bekend is wat het mechanisme achter het systeem is, benadrukt Jakub Tomczak. “In de basis is het gewoon matrixvermenigvuldiging.” Neurale netwerken leren correlaties, legt hij uit. “En vervolgens correlaties tussen correlaties tussen correlaties en dat bijvoorbeeld duizend keer. Daardoor wordt het een ontzettend ingewikkeld netwerk van potentiële concepten, wat het vrijwel onmogelijk maakt om te voorspellen wat er aan resultaat uit het systeem rolt.”

Neurale netwerken zijn daardoor in staat om structuren in data (ook wel long-range dependencies) te zien, aldus Tomczak. “Stel je hebt een foto van een gezicht. Als ik daar willekeurig wat pixels uit verwijder dan kan ik als mens nog steeds herkennen dat het een gezicht is. Simpele computermodellen kunnen dat niet. Maar het fascinerende aan neurale netwerken is dat die wel kunnen leren om het gezicht ondanks ontbrekende pixels te herkennen. Ze kunnen een van de pixels van de afbeelding analyseren en aan bepaalde waarden zien dat het onderdeel is van een grotere complexe structuur.” In het geval van tekst kun je hetzelfde principe toepassen, vervolgt hij. ChatGPT moet de prompt, een kort stukje tekst dat wordt gebruikt als startpunt om een respons te genereren, die iemand geeft in zijn geheel herkennen. Pas aan het einde van de zin heeft het alle informatie die nodig is om de taak te volbrengen.

Begrijpen

Zowel het feit dat ChatGPT de prompt ‘snapt’, als het feit dat er vervolgens logische zinnen als resultaat uitrollen zou de indruk kunnen wekken dat het systeem de betekenis van concepten en woorden daadwerkelijk begrijpt. Of dat zo is, valt moeilijk te bepalen en hangt af van welke betekenis je aan het woord begrijpen geeft, zegt Tomczak. “Sommige generatieve AI-modellen laten er wel glimpen van zien dat ze bepaalde concepten lijken te begrijpen. Ik zag laatst een voorbeeld van een door AI gegenereerde afbeelding uit een tekstprompt van een wasbeer die een astronautenhelm draagt. Dat kon niet in de trainingsdata hebben gestaan, omdat het een onrealistisch concept was. Toch was de gegenereerde afbeelding precies zoals je hem zou verwachten.”

Een ander voorbeeld waaruit lijkt te blijken dat ook GPT-4 een bepaald soort begrip heeft concepten, is er één die rondgaat op internet. Het systeem wordt daarbij gevraagd om uit te leggen wat er grappig is aan een beeld van een smartphone die door een VGA-kabel wordt opgeladen. GPT-4 was in staat daar een goed antwoord op te geven, en had als output: ‘The humor in this image comes from the absurdity of plugging in a large outdated VGA connector into a small, modern smartphone charging port.’ Wil dat echter zeggen dat het systeem begrijpt wat een telefoon nou eigenlijk is, dat je ermee kan bellen en berichten mee kunt versturen, bijvoorbeeld?

“In zekere zin wel”, zegt Tomczak. Transformermodellen zoals ChatGPT creëren een soort knowledge graph, een grafiek waarin verbanden tussen woorden gevisualiseerd zijn. “Mensen geven in zo’n grafiek alle knooppunten namen of labels. Neurale netwerken doen iets vergelijkbaars. Al geven ze die knooppunten misschien geen voor ons herkenbaar label, maar een denkbeeldig label. Waar het om gaat is dat het dezelfde soort verbanden legt.”

Door het correleren van correlaties kan er ook nieuw gedrag ontstaan bij AI-modellen, dat door mensen niet altijd meteen te begrijpen is. Dit gebeurde ook bij door Facebook in 2017 ontwikkelde biedmachines, vertelt Tomczak. “Het waren twee bidding chatbots die voorzien waren van taalmodellen en met elkaar konden communiceren. Na een tijdje begonnen die bots hele rare berichten naar elkaar te sturen die onbegrijpelijk waren voor mensen. De ontwikkelaars dachten eerst dat ze gewoon van het pad af waren geraakt, maar later bleek dat de bots hun taak als biedmachine nog steeds goed uitvoerden. Ze bleken een eigen taal ontwikkeld te hebben.”

Sci-fi

Dat soort ontwikkelingen maken Tomczak echter niet zenuwachtig, omdat het een geïsoleerd systeem is dat niets meer gedaan heeft dan de functie optimaliseren. Pas wanneer systemen met andere systemen gaan communiceren zouden er volgens hem problemen kunnen ontstaan. “Denk bijvoorbeeld aan een AI-systeem dat virussen verspreidt en daarmee bijvoorbeeld overheidssystemen AI-gestuurd kan maken. Of aan AI-systemen op smartphones die met elkaar communiceren en daarmee de batterij leegtrekken en telefoons onbruikbaar maken. Al is dat allemaal nog een beetje sci-fi.”

Wat kunnen we doen om zulke situaties te voorkomen, wil EAISI-directeur Nuijten weten. Tomczak: “Ik denk niet dat we veel kunnen doen, er zijn zoveel mensen mee bezig en die kun je toch niet tegenhouden.” Gelukkig zijn er volgens hem echt nog te veel ontbrekende functies, waardoor een algemene kunstmatige intelligentie (AGI), die hij omschrijft als een volledig autonoom, interactief systeem dat de intelligentie van mensen en dieren imiteert, nog ver weg is. Een ontwikkeling die volgens hem een groot verschil zou maken en die wel reden zou zijn tot zorg, is als het systeem de geleerde data niet meer zou vergeten. “Het systeem zou dan miljarden en miljarden aan afbeeldingen en andere data kunnen gebruiken om van te leren op een sequentiële wijze. Het zou constant kunnen blijven leren. Dan heb je het echt over een vorm van intelligentie.”

Hoe vooral grote bedrijven nu bezig zijn, nu ze in een soort wedloop verwikkeld zijn, denkt Tomczak niet dat zulk soort ontwikkelingen snel bereikt zullen worden. “Ze zijn vooral bezig met opschalen, maar je hebt echt nieuwe functionaliteit nodig.” Misschien is er wel een heel simpele oplossing, en is er alleen maar iemand nodig die op het juiste idee komt, speculeert hij. Nuijten moet daarbij denken aan de wens van mensen om te kunnen vliegen: “De eerste pogingen om dat te bewerkstelligen waren door vogels na te doen. Maar daarna vonden we een veel simpelere oplossing. Gewoon héél hard gaan en zorgen voor de juiste aerodynamica”, grapt hij.

Tomczak vindt het een goede analogie. “Engineers zeggen misschien dat een vliegtuig enorm ingewikkeld is, maar voor ons is het principe ervan hartstikke simpel. De uitvoering: dat is een ander verhaal. Als je naar neurale netwerken kijkt kun je daar hetzelfde over zeggen, al ‘vliegen’ die nog niet. We hebben fantastische elektronica, genoeg stoelen, alles ziet er prachtig uit, maar we missen de motoren. Daarom denk ik ook dat opschalen niet de beste aanpak is, want daar krijg je die motoren niet mee. Het vliegtuig rijdt alleen harder, maar van de grond komen doet ie niet.”

Enge dingen

Toch zijn sommige AI-systemen volgens Tomczak nu al gevaarlijk: “Als je ziet wat er in Moskou gebeurt, waar ze camera’s bij de ingang van de metro hebben staan en daardoor mensen makkelijker kunnen oppakken. En kijk naar China, waar mensen met behulp van AI overal worden gevolgd. En, eerlijk: Amerika die AI in het leger gebruikt. Dat zijn enge dingen.” Aan de andere kant gebeurt er ook veel goeds met behulp van AI. “Simpele applicaties die huidkanker kunnen herkennen maken al een groot verschil. En een week geleden las ik over een generatief model dat een nieuw soort antibioticum had ontdekt.”

Hoge verwachtingen heeft hij ook van wat no code programming heet en voor zover hij weet bijna foutloos code kan schrijven. “Er was een experiment waarbij ze een Duitse software engineer met twintig jaar ervaring eenzelfde taak uit lieten voeren als het AI-systeem. De Duitser deed er twee keer zo lang over en wist maar twintig procent van de taak te volbrengen, terwijl het systeem in negentig procent slaagde.” Dat is volgens Tomczak de toekomst en daar hoef je niet bang voor te zijn. Het is een kwestie van andere tools gebruiken. “Dat doen we bij computer science de hele tijd, dat is niks nieuws. Als taalmodellen ons op een dagelijkse basis kunnen assisteren zou dat alleen maar fijn zijn.”