- Onderzoek
- 12/06/2019
Profpraat | Discriminatie door algoritmes
Algoritmes zijn steeds belangrijker in ons leven: van zoekmachine tot gepersonaliseerd Netflix-aanbod. Onbewust word je de hele dag gemonitord en via de data die je achterlaat in hokjes gestopt. Ook de overheid maakt steeds meer gebruik van algoritmes en daarbij ligt discriminatie op de loer, berichtte de NOS afgelopen week. Algoritme-experts Jack van Wijk en Mykola Pechenizkiy, beiden betrokken bij het Data Science Center Eindhoven, hameren op transparantie en raden aan op je hoede te zijn.
Het lijkt allemaal heel handig. Het Spotify-lijstje met aanraders, de geselecteerde berichten die je tegenkomt op je Facebooktijdlijn of de automatisch opgestelde weekboodschappen. Ons dagelijks leven lijkt steeds meer bepaald te worden door algoritmes. Heel simpel gezegd recepten om stap voor stap naar een bepaald doel te komen, gevoed door een enorme berg ingevoerde data.
Maar tegelijkertijd worden ook de nadelen van deze slimme formules zichtbaar. Op basis van wat je zoekt, koopt en liket wordt een profiel van je gemaakt, en het is niet altijd even duidelijk wat daarmee gebeurt. En ook je wereldbeeld wordt aardig gekleurd door wat social media je tonen zodat je in een filter bubble terechtkomt met eenzijdig nieuws.
Recht op gelijke behandeling
Steeds meer beslissingen worden geautomatiseerd, ook in toenemende mate door overheidsinstanties. Dat is niet zonder meer negatief, benadrukt hoogleraar Informatievisualisatie Jack van Wijk. “Het helpt bij het ordenen van data en bespaart vaak veel tijd. Toch moeten we blijven uitkijken met deze geautomatiseerde beslissingssystemen. Want een reëel risico is dat algoritmes het recht op gelijke behandeling aantasten.”
Een belangrijke oorzaak hiervoor is dat algoritmes gebruikmaken van gegevens uit het verleden, legt Mykola Pechenizkiy, hoogleraar Data Mining, uit. “Algoritmes worden getraind met historische data en die bevatten ook de vooroordelen van iedereen die deze eerdere beslissingen genomen heeft. En dat kan zich dan ook nog eens gaan versterken. Het bekende voorbeeld van politie die door een algoritme extra gaat patrouilleren in een bepaalde wijk - vaak met bewoners met een lager inkomen of bepaalde etniciteit - meer arrestaties verricht en daar vervolgens weer naar teruggestuurd wordt. Menselijke tussenkomst is heel belangrijk om dergelijke discriminatie te voorkomen.”
De computer beslist, maar mensen moeten dus verantwoordelijk gehouden worden voor deze beslissingen. We moeten bewust zijn van het feit dat er zaken flink mis kunnen gaan, waarschuwt Van Wijk. “Zolang de zwarte doos dicht blijft zitten, is het heel moeilijk te zien wat er allemaal precies gebeurt. Transparantie is daarom het sleutelwoord. Computerwetenschappers, ethici en juristen moeten zich buigen over wat er in het algoritme plaatsvindt én over de procedures ervoor en erna. Niet alleen het algoritme moet transparant zijn, ook de gebruikte data: waar komt deze vandaan, hoe is het gekoppeld, gefilterd en geselecteerd? Garbage in, garbage out. Of misschien nog beter: Garbage in, toxic waste out.”
Ook binnen het Data Science Center Eindhoven is veel aandacht voor transparantie. Pechenizkiy: “Recent hebben we het nieuwe onderzoeksprogramma Responsible Data Science opgezet, waarbij we heel multidisciplinair naar dit soort vraagstukken kijken. De harde technische puzzels, maar ook juridische en ethische aspecten; het is complexe materie. Met projecten in samenwerking met bijvoorbeeld de Nationale Politie of Rabobank kunnen we op een breed vlak onze steen bijdragen aan het verbeterd gebruik van algoritmes.”
Screening van algoritmes
Screening van algoritmes moet voor overheden een standaard procedure worden, menen beide heren. Van Wijk: “Ik verwacht dat algoritme auditing heel groot gaat worden. Het is niet meer dan vanzelfsprekend dat overheden pas toestemming krijgen een bepaald algoritme te gebruiken na extern onderzoek door zorgvuldig geselecteerde partijen. En dan hebben we het niet alleen over het stukje code dat de beslissing uitspuugt, maar ook het hele proces ervoor en erna moet onder de loep genomen worden. Daarnaast moeten we als burger ook beseffen dat het heel gevaarlijk is om blindelings te vertrouwen op wat een computer op het scherm zet. Probeer door te vragen als je niet vertrouwt waarom je geselecteerd bent voor nader onderzoek naar een subsidie of uitkering. Waarom ik, welke regels gebruiken jullie? Het is niet altijd even gemakkelijk in verzet te komen tegen de bureaucratische machinerie, maar gelukkig zijn er ook allerlei instanties die hier bovenop zitten. En voor wie niet verstrikt wil raken in de alledaagse algoritmes: wees erop bedacht dat je meer sporen achterlaat op het web dan je denkt.”
Discussie