Begin 2023 is hij persoonlijk benaderd door de Technisch-natuurwetenschappelijke Universiteit van Noorwegen (NTNU), de coördinerende universiteit van het programma, met de vraag: ‘Doen jullie ook mee?’ Hij werd direct enthousiast en vroeg zijn collega’s Karen Veroy-Grepl en Remco Duits of ze het ook zagen zitten. “Ik ben in feite met pensioen”, zegt hij. Schilders is afgelopen juni met emeritaat gegaan, maar hij blijft betrokken bij allerlei projecten. Zo zal hij de eerste tijd ook de rol van coördinator van het REMODEL-programma voor de TU/e op zich nemen.  

De verborgen lagen van neurale netwerken

Het project bestaat uit verschillende werkpakketten, toegespitst op specifieke onderzoeksgebieden op het gebied van machine learning. De betrokken onderzoekers hebben allemaal hun eigen expertise, maar één ding hebben ze met elkaar gemeen: allemaal willen ze de black box van de AI openen om zo meer inzicht te verkrijgen over hoe machine learning precies werkt en wat er exact gebeurt in de kunstmatige neurale netwerken. Dit willen ze bewerkstelligen door middel van wiskundige methodes.

Machine learning (en het aanverwante deep learning) is een belangrijk onderdeel van kunstmatige intelligentie, een onderzoeksgebied waar we tegenwoordig niet meer omheen kunnen. Machine learning is een methode om zelflerende systemen te creëren die opgebouwd zijn uit vele lagen van kunstmatige neuronen die samen zogenaamde neurale netwerken vormen. Deze systemen zijn in staat om zelf te leren op basis van een grote hoeveelheid data die je erin stopt. Een van de toepassingen van deep learning is bijvoorbeeld gezichtsherkenning. Door het netwerk een enorme hoeveelheid foto’s aan te bieden krijg je een systeem dat in staat is gezichten te herkennen. In het REMODEL project gaat het vooral om kunstmatig neurale netwerken om simulaties te versnellen.

“De neurale netwerken beginnen met een inputlaag”, legt Schilders uit. “Vanuit de inputlaag wordt de informatie naar de neuronen in de eerste hidden layer oftewel verborgen laag gestuurd. De neuronen hebben een bepaalde activatiefunctie, dus ze doen iets met deze informatie en sturen deze vervolgens door naar de volgende verborgen laag, waar precies hetzelfde gebeurt. Uiteindelijk wordt de informatie ontvangen door de neuronen in de outputlayer - dat is de uitkomst van het netwerk.” Zo bestaat het netwerk uit invoer van informatie aan het begin en uitvoer aan het einde. “Wat daartussen gebeurt, dat is de black box. We weten niet wat daar precies gebeurt”, aldus Schilders.

Ook op het gebied van neurale netwerken kan deze methode veel voordeel opleveren. “Neurale netwerken zijn vaak heel groot, dus zijn we aan het kijken hoe we ze met wiskundige methodes kunnen reduceren, zonder dat je essentiële informatie kwijtraakt en terwijl de black box nog steeds datgene doet wat het moet doen. Het is de kunst om niet te veel informatie weg te gooien, maar precies genoeg om efficiënter te kunnen rekenen met ongeveer dezelfde resultaten”, aldus Schilders.

Echte intelligentie

Om neurale netwerken efficiënter te maken moet je er meer kennis in gaan bouwen, gelooft Schilders. Enkel met data lukt het namelijk niet. “Als je neurale netwerken wilt trainen om bijvoorbeeld het gedrag van planetenstelsels te voorspellen, dan kun je de banen een aantal jaren meten en al die gegevens in het netwerk stoppen”, vertelt hij. “Maar als je dan het systeem vraagt om een voorspelling te doen voor de komende jaren, dan gaat het helemaal mis.”

Hoe moet het dan wel? “Je moet natuurkundige wetten in de netwerken stoppen, zoals zwaartekracht en andere natuurkundige eigenschappen”, stelt hij. “Als iets naar beneden valt, dan kun je daar heel veel metingen van maken en al die getallen in een netwerk stoppen. Maar Newton heeft daar de gravitatiewet voor opgesteld. Je kunt veel beter die simpele natuurkundige wet, die altijd geldt, in een neuraal netwerk stoppen dan duizenden getallen. Dat is veel slimmer, efficiënter en je krijgt op die manier betere uitkomsten.” Neurale netwerken die de kennis van de onderliggende fysica bevatten, in plaats van alleen data, worden ook wel physics informed neural networks genoemd. Volgens Schilders is dit de manier om neurale netwerken beter en betrouwbaarder maken.” “Je moet niet alles alleen met data willen doen. Wij hebben al die kennis, al die wetten, dus waarom zouden we ze niet gebruiken?”

Chat GPT is waarschijnlijk het bekendste voorbeeld van een groot neuraal netwerk, met heel veel hidden layers en miljoenen neuronen per laag. “Er zitten data van het hele internet in, en toch is het systeem helemaal niet zo betrouwbaar. Je hebt namelijk menselijke kennis nodig om neurale netwerken te verbeteren.” Schilders haalt zijn inmiddels bekende oneliner aan die hij opgenomen heeft in zijn afscheidsrede en die hij vaak in zijn lezingen gebruikt: “Real intelligence is needed to make artificial intelligence work.”

Duits werkt aan het ontwikkelen van betrouwbare AI-methodes voor beeldanalyse waarmee interpretatiefouten voorkomen kunnen worden. “Met deep learning kan een model aan de hand van data getraind worden om de bloedvaten te identificeren. Maar daarvoor heb je heel veel data van goede kwaliteit nodig, die niet altijd voorhanden zijn, en het verwerken van deze data vraagt veel rekenkracht”, legt hij uit. Net als Schilders is Duits ervan overtuigd dat je wiskunde nodig hebt om te begrijpen wat er in de neurale netwerken precies gebeurt. En als je eenmaal begrijpt hoe het werkt, dan kun je met wiskundige methodes betere neurale netwerken ontwerpen die ook breder toepasbaar zijn in zowel de medische als industriële beeldanalyse.

Leentjebuur spelen

“Wat we ons misschien niet altijd goed realiseren is dat wij mensen ongelooflijk goed zijn in het interpreteren van beelden”, vertelt Duits. “Als je naar me kijkt, dan zie je in één oogopslag mijn gezicht, waar mijn shirt zit en waar de tafel begint. Dat komt omdat we slimme filtertjes hebben in ons visuele systeem.” Hij pakt een pen van de tafel en draait hem in de lucht. “Kijk, als ik de pen roteer, zie je nog steeds een pen. Voor ons is het vanzelfsprekend, maar neurale netwerken moeten dat leren. Je kunt dat doen door heel veel data in het netwerk te stoppen, maar dat is heel omslachtig. Met wiskundige methodes kun je een netwerk zo ontwerpen dat die informatie er intrinsiek in zit. Dan hoef je het netwerk daarvoor niet te trainen en heb je dus al die trainingsdata helemaal niet nodig.”

Hoe mensen naar beelden kijken – de zogenaamde neurogeometrie – wordt wiskundig uitgedrukt aan de hand van PDE’s (partial differential equations) oftewel differentiaalvergelijkingen. “Met PDE’s kun je neurale netwerken efficiënter maken, zodat je minder trainingsdata nodig hebt en toch betere resultaten kunt krijgen”, zegt hij. Om betere analysemethodes te ontwikkelen, voegt Duits deze geometrische informatie toe aan de neurale netwerken. “Eigenlijk is het niets anders dan leentjebuur spelen. We kijken af van ons eigen visuele systeem om computers beter te leren kijken. We doen dat door louter geometrische betekenisvolle associatievelden (i.p.v. ad-hoc activaties) te trainen.”

Net als Schilders is hij ervan overtuigd dat je de fysica, die uitgedrukt is in wiskundige modellen, in het design van je netwerk moet meenemen. “Zo stop je er eigenlijk intelligentie in. We komen er steeds meer achter dat het slim is om te doen. Het is op een fundamenteel niveau een heel andere benadering en je krijgt op die manier ook netwerken die heel anders werken.”

Stapje verder

Met het REMODEL-project willen we vooral bereiken dat alle wiskundig georiënteerde machine learners van binnen en buiten Europa een goede interactie met elkaar gaan hebben en op die manier hun krachten kunnen bundelen, zo zegt hij. “Zo kunnen we samen neurale netwerken niet alleen beter gaan begrijpen, maar ze ook reduceren, verbeteren en efficiënter maken”, stelt hij. “Er is zo’n revolutie gaande op het gebied van de AI en er zijn ontzettend veel wiskundigen mee bezig. Daarom is het heel belangrijk om met elkaar in connectie te blijven. Je hebt er allemaal baat bij om elkaar te stimuleren en vooruit te helpen.” REMODEL biedt volgens hem ook kansen aan jonge onderzoekers om hun netwerk te vergroten buiten het Europese netwerk. “Zo gaan TU/e-promovendi Nicky van den Berg en Gijs Bellaard op samenwerkingsbezoek naar Emory USA”, aldus Duits.

Hij hoopt dat we met het REMODEL-programma belangrijke inzichten gaan verkrijgen over machinaal leren die ons allemaal een stapje verder gaan brengen. “Je kunt nog zo’n goede resultaten halen met neurale netwerken, maar zolang je niet begrijpt hoe ze werken, ben je niet bezig met waar het echt om gaat. We moeten beter begrijpen wat er gebeurt, en de universele wiskundige taal is het perfecte instrument om die kennis te delen en te verspreiden.”