De TU/e staat aan de basis van de bouw van veel medische apparaten. Het is een gebied waar veel compliance bij komt kijken: er moet aan wetten en regelgeving worden voldaan. Het is aan Hommerson om dat binnen de universiteit te coördineren. Omdat veel medische apparaten die aan de universiteit ontwikkeld worden ook een AI-component hebben, kwam ze automatisch in aanraking met de AI-Act: een Europese wet om kunstmatige intelligentie te reguleren. “In die wet zagen ik en mijn voormalige collega een duidelijk probleem. De bedoeling was dat de wet niet van toepassing zou zijn op onderzoek, waardoor bijvoorbeeld universiteiten niet aan de enorme administratieve last hoefden te voldoen, waar bedrijven dat wel moeten. In de wettekst stond echter iets in de strekking van ‘het is niet van toepassing, tenzij… ‘, waardoor de onderzoeksuitzondering eigenlijk ook weer géén uitzondering werd.”

Het probleem zat hem in de ‘tenzij’, valt Nuijten haar bij. “Die verwees namelijk naar de situatie waarbij AI-onderzoek terechtkomt in een product. Laten we nou precies dát soort onderzoek doen aan de TU/e.” Of je nou van tevoren of achteraf de bedoeling hebt om AI toe te passen in producten, je draagt er uiteindelijk dezelfde verantwoordelijkheid voor, legt Hommerson uit. “We erkennen als universiteit ook wel dat we die verantwoordelijkheid hebben, maar om onder hetzelfde regime te vallen als een bedrijf: dat zou veel te zwaar zijn voor ons.” Om die reden ging ze in februari 2023 naar het Europarlement om te pleiten voor een volledige onderzoeksuitzondering, die nu in de wet – die nog in ontwikkeling is – is opgenomen.

Onderzoek en ontwikkeling

Dat betekent niet dat onderzoekers aan de universiteit alles kunnen doen wat ze willen op het gebied van AI, benadrukt Hommerson. “Dat komt deels doordat de scheidslijn tussen onderzoek en ontwikkeling niet keihard is. Uiteindelijk is het zo dat degene die een AI-model in gebruik neemt of fabriceert wel moet voldoen aan de wet, zo wordt het toch een regel die doorschuift.” De industrie heeft in die zin ook garanties nodig van onderzoekers om er zeker van te zijn dat de modellen in een later stadium daadwerkelijk toe te passen zijn onder de AI-Act. Ook wanneer onderzoekers in “real life conditions” gaan testen gelden zwaardere regels. “In de lagere Technical Readiness Levels (TRL) kun je wel experimenteren, maar op het moment dat je door wil ontwikkelen moeten we gaan kijken naar hoe we op een gepaste manier in onderdelen van de AI-Act kunnen voorzien. Maar dat is nog steeds niet zo zwaar als bij grote bedrijven zoals Philips. Er moet wel iets gepasts komen.”

Iets “gepasts” is er op dit moment echter nog niet en hoe het toepassen van de AI-Act er in de praktijk uit gaat zien is ook nog niet duidelijk. Niets is nog definitief. Toch moeten onderzoekers in veel gevallen ook nu al aan ethische standaarden voldoen. Dit geldt voornamelijk voor Europese projecten, waarbij onderzoekers een ethics self assessment moeten doen. Onderdeel van die zelfevaluatie zijn nu zeven ethische principes. Hommerson: “Denk daarbij aan principes als human in the loop, technische robuustheid en accuraatheid, sociale impact en bias in je model. Dat implementeer je door bijvoorbeeld bij bias te kijken naar of je wel een representatieve dataset hebt voor je doel. De bedoeling is dat we een manier hebben om zulke dingen dusdanig te documenteren zodat in een later stadium iemand weet: die keuze is toen gemaakt en daar is over nagedacht.”

Handhaven

In de toekomst moeten onafhankelijke lidstaten van de Europese Unie met agencies gaan handhaven dat bedrijven en organisaties zich ook daadwerkelijk aan de regels houden. Wie niet voldoet kan hoge boetes verwachten. Bedrijven zijn zelf verantwoordelijk voor het systeem, de klasse waarin het zit, het op de markt brengen en de certificering. Ook op verkeerde classificering staan hoge boetes. Nuijten vraagt zich af of dat genoeg is om grote bedrijven met enorme budgetten tegen te houden om door te gaan met de ontwikkeling met systemen die niet helemaal voldoen aan de AI-Act. Ook Hommerson is daar niet zeker van: “Ik kan me voorstellen dat grote bedrijven die boetes gewoon betalen, wat aanpassingen maken en weer doorgaan.”

Wat betreft het nut van zulke boetes moet Nuijten ook denken aan de toeslagenaffaire. “Kom je nu, jaren later, met een boete aanzetten. Wat maakt het die vrouw die haar kinderen kwijt is geraakt nou uit dat die boete er komt?” Wat hij ook zou willen weten is of de AI-Act de toeslagenaffaire had kunnen voorkomen. Hommerson: “In de wettekst staat letterlijk iets over precies hetzelfde voorbeeld. Dat gaat over het toekennen of weigeren van sociale voorzieningen op basis van een AI-systeem. Daar moet je heel voorzichtig en transparant in zijn. Je kunt je niet zomaar achter algoritmes verschuilen. Wij moeten als mensen de systemen niet leidend laten zijn, de mens moet betrokken blijven. Dat staat ook in de AI-Act. Ik denk dat overheden nog wel het meeste moeite hebben om de regels van die wetgeving te implementeren.”

High-risk

De AI-Act definieert drie verschillende risicoklassen: hoog, midden en laag. In welke categorie systemen vallen hangt voornamelijk af van de impact die ze hebben op mensen of de maatschappij. Vrijwel al het onderzoek dat aan de TU/e plaatsvindt, valt onder de hoogste-risicocategorie, omdat de systemen ingezet worden voor medische doeleinden, of gezien worden als high tech. “Vooral met die laatste vallen we vaak in de hoogste categorie.” High-risk systemen moeten aan de zwaarste regels van de AI-Act voldoen, iets dat voor universiteiten bijna niet te doen is, daarom is Hommerson blij met de onderzoeksuitzondering.

Ook systemen zoals die van de toeslagenaffaire vallen onder de hoogste-risicocategorie. Wat Nuijten echter opvalt is dat generatieve systemen dat juist weer niet doen. “Die vallen er niet onder omdat in de wettekst staat ‘is intended for’, die modellen zijn niet bedoeld om te gebruiken in risicovolle setting. Die kúnnen daar echter wel voor worden gebruikt. Ik vind daarom dat ze ‘is intended for’ moeten veranderen in ‘can be used for’.” Ook het meer algemene risico waarbij een vorm van  superintelligentie zou kunnen ontstaan, waar Nuijten zich zorgen over maakt, wordt niet specifiek genoemd in de wettekst, bevestigt Hommerson. De AI-Act beschermt volgens haar dan ook niet voldoende tegen dat soort gevaren. “Zoals de wettekst er nu staat kan het misschien genoeg zijn, maar misschien ook niet. Het is echter nooit genoeg als de wet alleen in Europa geldt. Hier moet je globaal afspraken over maken.”

Globaal

Over het algemeen denkt Hommerson dat de AI-Act, als die alleen in Europa geldt, toch ook globaal effect zal hebben. “Dat zagen we met de Europese privacywet (AVG) ook. Als bedrijven iets op de Europese markt willen brengen moeten ze aan de Europese wetgeving voldoen. Op die manier zullen dus óók bedrijven uit de Verenigde Staten en China zich uiteindelijk aan de AI-Act moeten houden.” Ook zijn er veel gesprekken in de US-EU Trade Council, vertelt Hommerson, om te kijken of er vrijwillige codes opgesteld kunnen worden waar andere machtsblokken zich ook aan kunnen committeren. Of die dat ook gaan doen, dat mogen ze zelf weten. “In China moeten bedrijven wel ook al een licentie krijgen om mensen aan generatieve AI bloot te stellen, daar zit een vast framework aan vast. In de VS zijn ze wat terughoudender.” Dat laatste zorgt er volgens haar voor dat veel startups naar de VS trekken. Ook het gebrek aan kapitaal en onduidelijkheid over de AI-Act in Europa dragen daaraan bij. “Er wordt letterlijk gezegd tegen startups: waarom zit je niet in Amerika.”

Zes commissies

De wetgeving in Europa kán ook wel erg verwarrend zijn, weet Hommerson. “Europese wetten moet je nooit op zichzelf lezen. Het zijn allemaal losse stukjes die in elkaar passen, wetten die met elkaar verweven zijn. Het is soms bijna niet meer te volgen. Zo wordt er in de AI-Act bijvoorbeeld iets gezegd over privacy, waarbij wordt verwezen naar de AVG. En zo heb je naast de wet, die een verordening is, wat wil zeggen dat hij direct toepasbaar is in de lidstaten, ook nog een hele strategie met betrekking tot AI, met richtlijnen. Een voorbeeld daarvan is de liability directive, die gaat over wie er verantwoordelijk is als er iets misgaat met het systeem. En een software directive, over de software die in machines wordt ingebouwd. Die richtlijnen staan in zekere zin los van de AI-Act.” Die wet is op zichzelf ook nog eens zo veelomvattend, dat ze bij het Europees parlement in eerste instantie niet eens wisten welke commissies er nou eigenlijk naar moesten kijken, vertelt Hommerson. “Het is een horizontale wet die geldt voor auto’s, de publieke sector, onderwijs … overal waar je AI-toepassingen hebt is de wet relevant. Uiteindelijk waren er iets van vijf of zes commissies die er allemaal wat van moesten vinden.” Die commissies hebben volgens haar vóór de zomer hun standpunt afgerond. Als de wet wordt goedgekeurd, gaat hij op zijn vroegst in januari 2026 in.

Het klinkt als een monsterklus om ten eerste de wet te begrijpen en vervolgens binnen de universiteit te implementeren. Alleen de wettekst zelf moet je al twee, drie of vier keer lezen om er iets van te snappen, zegt ook Nuijten. “Ik wil de beroepsgroep niet beledigen, maar het is niet te doen”, grapt hij. Hommerson lijkt met de teksten niet zoveel problemen te hebben, maar geeft wel toe dat men zowel in Europa als aan de universiteit echt nog aan het uitzoeken is hoe alles vorm moet krijgen. “Nu doen we alles zelf, maar ik heb wel vertrouwen in projecten die standaarden aan het opzetten zijn. Ik denk dat er binnenkort meer duidelijke richtlijnen zullen komen.”

De AI-Act komt ook aan bod tijdens de (uitverkochte) EAISI Summit Brainport 2023, waar Hommerson en ook Wijnand IJsselsteijn aan het woord zullen komen.

Redactionele noot

Bij Cursor is op dit moment grote onduidelijkheid over haar journalistieke vrijheid. In samenwerking met de vakbonden hebben de redactieleden een voorstellenbrief ten aanzien van persvrijheid neergelegd bij het College van Bestuur en is er een eerste gesprek gevoerd. Dit artikel is gepubliceerd in afwachting van de uitkomst van het onderhandelingsproces.