De projectnaam is ‘Enigma’, naar de codeermachine die beroemd werd tijdens de Tweede Wereldoorlog in nazi-Duitsland. “Voor dit project hebben we een realtime 3D-reconstructiesysteem (hardware en software) opgebouwd waarmee soldaten en commandanten onbekende gebouwen kunnen betreden”, legt Bondarau trots uit. “De soldaten gaan naar binnen met een stereocamera die op schouderhoogte op een tuigje is gemaakt en met een rugzak waarin ze een aangesloten laptop dragen. Het gebouwde algoritmesysteem reconstrueert met elke stap vooruit automatisch de 3D structuur van het gebouw en stuurt het model via wifi of radioprotocol naar de commandant. Die laatste kan buiten in een busje zitten of aan de andere kant van de wereld zijn, dat maakt niet uit. Vervolgens kan hij de soldaten zien bewegen in het 3D-model en ze instructies geven.”

Stereocamera

Drie jaar geleden ontvingen Bondarau en professor Peter de With (ook uit de VCA-onderzoeksgroep, red.) een verzoek van het Ministerie van Defensie waarin stond dat ze een apparaat nodig hadden waarmee soldaten onbekende omgevingen kunnen betreden. Zo’n systeem moest helpen om de binnenkant van gebouwen in 3D te kunnen zien. Kort daarna startten Bondarau en zijn promovendus Xin Liu samen met partner ViNotion het project. “We waren vrij in het selecteren van sensoren voor de observatie van de gebouwen, maar ze mochten niet actief zijn, wat betekent dat ze geen enkele vorm van straling mochten uitstralen, omdat soldaten dan vindbaar zouden zijn. Maar voor dit project waren 3D-sensoren nodig en de meeste zijn wel actief en zenden dus IR-licht uit. Dat was een probleem. De enige optie was een stereocamera: een systeem met twee camera's op enkele centimeters van elkaar. Hoewel we met de stereocamera ook diepte hebben kunnen reconstrueren, is de kwaliteit van deze gegevens erg slecht. De helft van de verkregen datapunten is gewoon ruis vanwege het passieve karakter van de stereocamera. Om deze ruis te detecteren en te verwijderen, hebben we een set 3D-filteralgoritmen ontwikkeld. Dit bleek uiteindelijk de grootste uitdaging in ons project.”

Harskamp

Bondarau toont de presentatie met daarin veel 3D-modellen die zijn groep gemaakt heeft op het trainingsterrein van Harskamp, ​​vlakbij Arnhem. De 3D-modellen zijn ingeladen in de ontwikkelde coördinator app en elke keer dat de soldaat beweegt, wordt het model bijgewerkt. De 3D-modellen bevatten niet alleen het gebouw, maar ook alle routes die de soldaat heeft afgelegd en ook de huidige positie van de soldaat. Het systeem ontdekt zelfs automatisch of een soldaat naar boven gaat en maakt verschillende afbeeldingsniveaus voor verschillende verdiepingen om de boel overzichtelijk te houden. Het algoritme is ook getraind op het semantisch onderscheiden van objecten in een gebouw en kan al onderscheid maken tussen muren, ramen, deuren, bepaalde grote meubels, mensen en geweren. “De laatste twee moeten nog verbeterd worden. Voor defensie is het van belang dat het systeem de verschillende delen van het gebouw kan herkennen en aangeven. Ramen zijn gebieden waar potentieel gevaar vandaan kan komen. Dat geldt ook voor deuren, die tegelijkertijd een ontsnappingsmogelijkheid kunnen zijn voor de soldaat. Daarom zijn ze zeer relevant voor de commandant om goede instructies te geven.”

Maar het verzenden van de gegevens naar de commandant zonder wifi kan een ander probleem veroorzaken. “Soms heb je geluk dat je wifi hebt en daarmee grotere bestanden kunt versturen. Maar zonder wifi moet je het radioprotocol gebruiken en de afbeeldingen die het systeem maakt, moeten worden omgezet in AutoCAD-achtige bestanden passend voor de kleinere bandbreedte van het radioprotocol.” Onverwacht kreeg Bondarau ook op de universiteit te maken met deze limitatie: “Door corona konden we de definitieve presentatie niet bij Harskamp doen en moest op de TU/e gebeuren. De commandant zat in Flux en een collega en ik speelden de soldaten en liepen door MetaForum om de zesde verdieping te reconstrueren. We hebben het de dag voor de presentatie en de ochtend van de presentatie getest en het werkte perfect. Maar tijdens de presentatie werkte de wifi bij Flux niet meer. We waren erg verrast omdat het normaal altijd werkt... Gelukkig hebben we het proces en de resultaten van twee tests opgenomen, zodat we het ministerie nog steeds de video konden laten zien.'

Jongensdroom

Het testen van het systeem bij Harskamp heeft indruk gemaakt op Bondarau. “Het leger was aan het trainen en schieten terwijl wij daar waren. Machinegeweren om ons heen, tanks en veel kogelhulzen op de grond. Het was vreemd, alsof we ons in een oorlogssituatie bevonden. Maar tegelijkertijd was het ook heel indrukwekkend en een beetje een jongensdroom om dit allemaal van dichtbij te zien.”

Het nieuwe systeem kan soldaten echt helpen, want tot nu toe is er niets beschikbaar buiten een radioverbinding als ze een onbekend gebouw binnengaan. Majoor der mariniers Roel Driessen die vanuit het Ministerie van Defensie betrokken was bij dit project zegt op persoonlijke titel dat er een slag om de arm moet worden gehouden over de inzet van deze technologie: “Je moet dit zien als een haalbaarheidsstudie, het is fijn dat we weten dat het kan, maar niet alle onderzoeken worden ook direct in de praktijk gebruikt. Het is handig voor ons als een commandant buiten kan zien wat er binnen gebeurt, zeker als hij geen kaart heeft van een gebouw. Waardevol in dit project zijn de passieve sensoren. De informatie krijgen we van camera’s die geen straling uitstralen. Dat is belangrijk want als er infraroodstraling van een camera afkomt, ziet iedereen vanuit de lucht al dat je op een locatie bezig bent. Dat voorkomen was ook meteen de uitdaging in het project.

Te veel gegevens

Het systeem dat de VCA-groep maakte is gebaseerd op deep learning, een techniek waarbij je een algoritme bepaalde regels aanleert op basis van big data en het systeem dit vervolgens toe laat passen op nieuwe situaties. “We hadden het geluk dat we al bestaande open data hadden van algoritmen die wisten hoe deuren en ramen konden worden gedetecteerd. Maar trappen waren bijvoorbeeld nog onvoldoende aanwezig in open datasets, dus moesten we het systeem leren die te herkennen”, vertelt Bondarau.

“Het systeem moet nog wel wat verbeterd worden. Het moet mensen en wapens beter leren herkennen en het proces moet sneller uitgevoerd worden met minder rekenkracht. Ook heeft het ministerie nog een wens die momenteel niet volledig mogelijk is: het wil elke twee seconden een bijgewerkte kaart als er een soldaat in een gebouw is. Met kleine huizen wordt gemakkelijk aan deze eis voldaan, maar in grotere gebouwen zoals Metaforum of Atlas kan het systeem nu nog maar één update per vijf seconden geven. "Zelfs de duurste, meest robuuste laptop die we voor dit project kochten, kon niet zoveel gegevens zo snel verwerken om aan de eisen te voldoen, dus we hebben nog een oplossing voor dat realtime probleem nodig."