Chiara Gallese Nobile is advocaat en onderzoeker aan de TU/e. Ze houdt zich bezig met Artificial Intelligence (AI) en recht. “Mijn primaire interesse is hoe AI een impact heeft op individuen, maar ook op de samenleving als geheel. Terwijl ik de resultaten van mijn onderzoek presenteerde in Venetië, ontmoette ik Sofia Kypraiou, die deel uitmaakt van de organisatie Women at the Table. Die organisatie probeert gelijkheid en diversiteit in (de ontwikkeling van) AI te bevorderen. Ze organiseren deze AI-workshops bij veel instellingen en Sofia vroeg mij of dit ook iets voor de TU/e ​​was. Ik dacht ja, dit zou kunnen passen bij de activiteiten van de Ethics-onderzoeksgroep van de faculteit IE&IS en de Ethical Review Board die we al hebben. Toen heb ik contact opgenomen met Philippe om me hierbij te helpen.”

Philippe Verreault-Julien is een postdoc aan de TU/e en doet onderzoek naar de ondoorzichtigheid van AI. Met een achtergrond in filosofie en ethiek en interesse in AI, is dit onderwerp hem op het lijf geschreven: “Het geven van deze workshops biedt ons een geweldige kans om een ​​zeer actuele en belangrijke discussie verder op gang te brengen. We moeten theorie en praktijk combineren om ethische principes vanuit het mensenrechtenperspectief toe te passen op applicaties die in de samenleving worden gebruikt.”

Problemen

Er is geen twijfel over dat een gebrek aan diversiteit in AI echt een probleem is. Er zijn genoeg voorbeelden die dit bewijzen. Zoals zwarte gezichten die minder goed worden herkend in gezichtsherkenningstoepassingen. "En Aziaten die te horen krijgen dat ze hun ogen moeten openen bij de beveiliging van de luchthaven, omdat het AI-systeem denkt dat ze niet wakker zijn", legt Gallese Nobile uit. "Een ander bekend voorval als gevolg van niet-diverse datasets, is een creditcardprobleem. Er werd ontdekt dat de kaart een lagere limiet had voor vrouwen dan voor mannen. Het bedrijf werd beschuldigd van discriminatie op grond van geslacht. Dit was te wijten aan een andere ongelijkheid die al aanwezig was in onze samenleving: de salariskloof tussen mannen en vrouwen. Het algoritme gebruikte deze gegevens om te generaliseren richting nieuwe klanten.”

Gallese Nobile legt uit hoe deze pijnlijke fouten kunnen ontstaan: “Als je afval in het systeem stopt, krijg je er ook afval uit, wat betekent dat als je de machine zeer beperkte gegevens voert, je er niet te veel voor terug mag verwachten. Om een ​​neural network goed te voeden heb je veel samples nodig, duizenden.” Verreault-Julien: “Ze hebben vaak niet genoeg datasets. Bovendien worden veel systemen gevoed met dezelfde datasets. Vaak zijn die sets niet divers genoeg, zit er bias in. Ze hebben bijvoorbeeld meer witte gezichten dan zwarte, meer mannen dan vrouwen, et cetera.”

Het goede nieuws: als een model wordt 'verpest' door gegevens met bias, kun je het model opnieuw trainen. “Maar dat kost veel geld en is daarom niet populair”, weet Gallese Nobile. “Voor zover ik weet, bestaat er niet zoiets als ethisch advies voordat een dataset mag worden gebruikt voor een algoritme, maar daar zou ik wel voor pleiten.”

Vooral blanke mannen

Gallese Nobile: “De workshops zijn bedoeld om onderzoekers in hun dagelijkse werk te helpen fundamentele mensenrechten toe te passen in AI. Er wordt veel gepraat over ethiek in AI. Discussies op hoog niveau over wanneer dingen ethisch zijn en wanneer niet, maar vervolgens leert niemand onderzoekers hoe het in de praktijk moet. De meeste AI-ontwikkelaars zijn blanke mannen uit rijke landen die zich vaak niet bewust zijn van hun eigen biases en blinde vlekken.”

Op de vraag of het voor die bevoorrechte mensen wel mogelijk is om de minderheden in de datasets goed te vertegenwoordigen, is het antwoord tweeledig. "Ze (de minderheden, red.) moeten zichzelf vertegenwoordigen, in plaats van dat wij voor of namens hen spreken", zegt Gallese Nobile. “En zelfs als we zeggen dat we willen dat ze vertegenwoordigd zijn, is er ook nog een politiek probleem. We moeten kinderen op zeer jonge leeftijd al scholen, vooral meisjes. Studies hebben namelijk aangetoond dat kinderen zelfs al op zes- en zevenjarige leeftijd denken dat vrouwen niet erg goed zijn in wetenschap, en dit veroorzaakt een gebrek aan vrouwen die ervoor kiezen om zich in te schrijven voor STEM-opleidingen (Science, Technology, Engineering, Mathematics, red.) wanneer ze die leeftijd bereiken. Ik heb een zoon van drie jaar oud en ik begon onlangs op te letten op de video's die hij op YouTube bekijkt die over wetenschap gaan. Daarin zag ik bijna alleen maar jongens: hoe kan een klein meisje zich vertegenwoordigd voelen als ze ziet dat wetenschap alleen voor jongens is? Het is niet genoeg om te zeggen dat we meer diversiteit willen. Er is een structureel ongelijkheidsprobleem in de samenleving. En dat beperkt zich niet alleen tot het gebied van AI.”

Verreault-Julien is toch hoopvol: ”Ik zie steeds vaker conferenties van mensen uit de hoek van computer science over dit onderwerp. Ze lijken echt bereid om inclusiviteit en diversiteit toe te passen in AI en te leren van sociale wetenschappers."

98 procent nauwkeurigheid

Gallese Nobile: “Het belangrijkste probleem is dat AI-ontwikkelaars geen rekening houden met deze ongelijkheid en achterstand qua representatie. En als ze de data niet hebben, kunnen ze gewoon geen eerlijk systeem maken. Ze nemen niet de moeite of kunnen gewoon geen nieuwe data verzamelen en herkennen vaak hun eigen biases en blinde vlekken niet eens. Om meer diverse samples te krijgen, is er nog een ander probleem: wetenschappers zijn meer geïnteresseerd in prestaties dan in output. Laten we zeggen dat ze een model hebben met een nauwkeurigheid van 98 procent. Zoiets wordt geroemd in tijdschriften, want slechts in twee procent van de gevallen gaat het mis. Maar wat als die twee procent allemaal zwarte vrouwen zijn uit een voormalige Nederlandse kolonie? Als je zo'n model voor een heel land gebruikt, kan die twee procent plots om miljoenen mensen gaan. Dus vanuit een systeemperspectief is 98 zeer nauwkeurig, maar vanuit een mensenrechtenperspectief is het volkomen verkeerd en discriminerend.”

De workshops vormen een serie van drie aparte online sessies via Microsoft Teams. Geïnteresseerden kunnen kiezen voor een aparte workshop, of ze alle drie volgen. Ze zijn gratis, maar je moet je wel registreren. (NB: dit is een intranetlink, die je vraagt in te loggen op je TU/e-account.)

• 24 maart: 'Trustworthy AI'

• 31 maart: 'Explainable AI'

• 7 april: 'Accountable AI'

De workshops zijn gebaseerd op het mensenrechtenperspectief en hebben als doel gelijkheid in AI te creëren. Leren hoe je AI-modellen beter kunt voeden, moet uiteindelijk leiden tot eerlijkere besluitvorming. In de workshop worden onderzoekscases besproken, debiasing technieken uitgelegd en is er voldoende ruimte voor discussie en oefenen in de praktijk. De workshops zijn dan ook interactief en er wordt input verwacht van de deelnemers. Gallese Nobile benadrukt dat de workshops gericht zijn op onderzoekers en ook degenen die al met AI werken van nut kunnen zijn. "De workshop staat open voor iedereen die geïnteresseerd is in het onderwerp, maar het zou handig zijn om al voldoende achtergrond in AI te hebben, aangezien we ook zullen oefenen met de handreikingen die we gaan doen."