Staat die jongeman met dat petje op iemand te wachten, of is hij van plan om over te steken? Er rolt een bal de weg op, komt daar een kind achteraan? En gaat die kleine blauwe Toyota inparkeren, of staat hij juist op het punt weg te rijden? Autorijden in de stad is een aaneenschakeling van dat soort inschattingsmomenten, die behoorlijk wat inzicht vragen van de bestuurder. Eén van de grote uitdagingen voor zelfrijdende auto’s is dan ook om de juiste conclusies te trekken op basis van de dingen die ze om zich heen ‘zien’, om zo te kunnen anticiperen op onverwachte situaties - een voorwaarde om veilig aan het verkeer te kunnen deelnemen.

De eerste stap naar een dieper inzicht in verkeerssituaties, is het correct benoemen van de verschillende elementen van het beeld dat een autonoom voertuig via zijn camera binnenkrijgt, legt de Griek Panagiotis Meletis uit. Hij werkte vanuit de groep Video Coding & Architectures, gespecialiseerd in beeldherkenning, aan een project van het Mobile Perception Systems Lab: een zelfrijdende auto die regelmatig zijn testrondjes rijdt op de TU/e-campus. “Daarvoor moet de auto kunnen begrijpen of iets een verkeerslicht of een boom, een voetganger, fietser of voertuig is. En op gedetailleerder niveau moet hij ook bijvoorbeeld wielen en ledematen kunnen herkennen, want die geven iets prijs over de bewegingsrichting en intenties van de verkeersdeelnemer.”

Grijze torso's

Je kunt een kunstmatige intelligente bestuurder (de artificiële intelligentie, of AI) dergelijke dingen aanleren door hem een grote hoeveelheid afbeeldingen van verkeerssituaties aan te bieden, waarin alle relevante elementen gelabeld zijn. Vervolgens kun je de mate van begrip van de AI meten door een nieuwe, ongelabelde foto aan te bieden. Een voorbeeld van zo’n foto is hieronder te zien. In de onderste afbeelding zien we aan de gebruikte kleuren hoe het AI de foto heeft geïnterpreteerd: alle auto’s zijn blauw, fietsen donkerrood, de armen van mensen zijn oranje gekleurd, en hun torso’s grijs.

Toen Meletis begon aan zijn promotieonderzoek, waren er nog maar een paar openbare,  fotocollecties met verkeerssituaties bekend, vertelt hij. “Nu zijn dat er al tientallen, elk met hun eigen focus. Dan moet je denken aan foto’s met verkeerslichten, foto’s met fietsers, met voetgangers en dergelijke.” Het probleem was echter dat elk van de datasets volgens een verschillende systematiek gelabeld was.

De bijdrage van de Griek bestond eruit dat hij die labels op een hoger zogeheten semantisch niveau aan elkaar wist te knopen. “Om een idee te geven: auto’s, bussen en vrachtwagens vallen allemaal in de categorie voertuig. En fietsers, motorrijders en chauffeurs zijn specifieke voorbeelden van bestuurders. Met behulp van die definities, kon ik onze AI trainen met alle beschikbare datasets tegelijk. Dat leverde direct veel betere resultaten op.”

Zware regen

De kracht van zijn methode werd bewezen tijdens een workshop georganiseerd vanuit de Conference on Computer Vision and Pattern Recognition in 2018. “Dat is een grote jaarlijkse conferentie met meer dan tienduizend deelnemers, waaronder alle grote techbedrijven. Eén van de competities dat jaar ging over ‘robust vision’, waarbij afbeeldingen moesten worden beoordeeld met ‘slecht zicht’ door bijvoorbeeld zware regen of juist overbelichting door extreem zonlicht. Ons systeem presteerde beter dan alle andere deelnemers op een dataset die veel van dat soort lastige beelden bevatte.”

Het afgelopen jaar werkte Meletis als postdoc door aan dit onderwerp, terwijl hij zijn proefschrift afrondde - een gebruikelijke procedure in zijn groep. “In die tijd hebben we nog twee nieuwe datasets weten samen te stellen met verkeerssituaties.” En vóór de pandemie maakte de Griek deel uit van het voorlichtingsteam dat studenten en promovendi werft in zijn vaderland. “Ik ben erg enthousiast over de universiteit en de sfeer in Eindhoven en dat wilde ik graag overbrengen aan mijn landgenoten, die uit angst voor het onbekende de stap naar de TU/e misschien niet zouden maken.”

En de toekomst? “Ik ben op zoek naar een baan waarin ik de nieuwste wetenschappelijke inzichten in de praktijk hoop toe te kunnen passen, ergens op het snijvlak van universiteit en bedrijfsleven. Vanwege de pandemie het liefst in Nederland of elders binnen Europa. Het lijkt me nu niet het moment om naar de Verenigde Staten te verhuizen.”