Stel je voor dat er twee piloten in een vliegtuig zitten, een mens en een computer. Beide mensen hebben hun "handen" op de controller, maar ze concentreren zich altijd op verschillende dingen. Als ze allemaal op hetzelfde gericht zijn, kunnen mensen het stuur overnemen. Maar als mensen afgeleid worden of iets missen, nemen computers het snel over. Door menselijke intuïtie te combineren met machineprecisie ontstaat een meer symbiotische relatie tussen piloot en vliegtuig.
Met Air-Guardian kan een computerprogramma de blik van een menselijke piloot volgen (met behulp van eye-trackingtechnologie) om beter te begrijpen waar de piloot op let. Hierdoor kan de computer betere beslissingen nemen op basis van wat de piloot doet of van plan is te doen. Fotocredit: AlexShipps/MITCSAILviaMidjourney
Dit is het "SkyGuardian" -systeem ontwikkeld door onderzoekers van het Computer Science and Artificial Intelligence Laboratory (CSAIL) van MIT. Moderne piloten moeten omgaan met grote hoeveelheden informatie van meerdere monitoren, vooral op kritieke momenten. Air-Guardian kan optreden als actieve co-piloot; het is een partnerschap tussen mens en machine dat fundamenteel gebaseerd is op het begrijpen van aandacht.
Maar hoe bepaalt het precies de aandacht? Voor mensen maakt het gebruik van eye-tracking, terwijl het voor neurale systemen vertrouwt op een concept dat 'salience maps' wordt genoemd en dat de richting van de aandacht aangeeft. Deze kaarten kunnen dienen als visuele gidsen, waarbij belangrijke gebieden in een afbeelding worden benadrukt om het gedrag van complexe algoritmen te helpen begrijpen en interpreteren. Air-Guardian gebruikt deze aandachtsmarkeringen om vroege tekenen van potentiële risico's te identificeren, in plaats van alleen in te grijpen als er een inbreuk op de veiligheid plaatsvindt, zoals het geval is bij traditionele zelfrijdende systemen.
De wijdverbreide impact van het systeem reikt verder dan de luchtvaart. Soortgelijke coöperatieve controlemechanismen kunnen op een dag worden gebruikt in auto's, drones en het bredere veld van de robotica.
Lianhao Yin, een postdoc bij MIT CSAIL en eerste auteur van een nieuw artikel over Air-Guardian, zei: "Een opwindend kenmerk van onze aanpak is de differentiatie ervan. Onze samenwerkingslaag en het hele end-to-end-proces zijn trainbaar. We hebben specifiek gekozen voor het causale continue diepe neurale netwerkmodel vanwege de dynamische eigenschappen bij het in kaart brengen van de aandacht. Een ander uniek kenmerk is het aanpassingsvermogen. Het Air-Guardian-systeem is niet rigide, het kan worden aangepast aan de feitelijke situatie en zorgt voor een evenwichtige samenwerking tussen mens en machine."
Veldtesten en resultaten
Tijdens veldtests namen zowel de piloot als het systeem beslissingen op basis van dezelfde onbewerkte beelden bij het navigeren naar een doelwaypoint. Het succes van Air-Guardian wordt gemeten aan de hand van de cumulatieve beloningen die zijn verdiend tijdens de vlucht en het kortere pad naar het waypoint. Guardian vermindert het risiconiveau van vliegen en verhoogt het succespercentage van het navigeren naar het doelpunt.
Ramin Hasani, lid van het CSAIL-onderzoeksinstituut van MIT en uitvinder van Liquid Neural Network, voegde hieraan toe: "Dit systeem vertegenwoordigt een mensgerichte benadering van AI-luchtvaartinnovatie. Ons gebruik van Liquid Neural Network biedt een dynamische, adaptieve aanpak om ervoor te zorgen dat AI niet eenvoudigweg het menselijk oordeel vervangt, maar het aanvult, waardoor de veiligheid en samenwerking in de lucht worden verbeterd."
Technische onderbouwing en toekomstperspectief
De echte kracht van Air-Guardian ligt in de onderliggende technologie. Het maakt gebruik van een op optimalisatie gebaseerde samenwerkingslaag die gebruik maakt van de visuele aandacht van mens en machine, evenals van een vloeibaar, gesloten continu neuraal netwerk (CfC) dat bekend staat om het ontcijferen van oorzaak-en-gevolg-relaties, om binnenkomende beelden te analyseren op belangrijke informatie. Aanvullend identificeert het VisualBackProp-algoritme de focus van het systeem in het beeld, waardoor een duidelijk begrip van de aandachtskaart wordt gegarandeerd.
Om in de toekomst op grote schaal te kunnen worden gebruikt, moet de mens-machine-interface worden verbeterd. Feedback suggereerde dat een indicator, zoals een staafdiagram, een meer visuele weergave zou kunnen bieden van wanneer het monitoringsysteem de controle begint over te nemen.
SkyGuard luidt een nieuw tijdperk van veiliger luchten in en biedt een betrouwbaar vangnet voor momenten waarop de menselijke aandacht wankelt.
"Het SkyGuard-systeem benadrukt de synergie tussen menselijke expertise en machine learning, waardoor het doel van het gebruik van machine learning wordt bevorderd om de capaciteiten van piloten te verbeteren en operationele fouten in uitdagende scenario's te verminderen", aldus Daniela Rus, de Andrew (1956) en Erna Viterbi hoogleraar elektrotechniek en computerwetenschappen aan het MIT, directeur van CSAIL, en senior auteur van het artikel.
"Een van de meest interessante resultaten van het gebruik van visuele aandachtsmetrieken in dit werk is het potentieel voor menselijke piloten om eerder in te grijpen en de interpreteerbaarheid te verbeteren", zegt Stephanie Gil, universitair docent computerwetenschappen aan de universiteit van Harvard. "Dit is een geweldig voorbeeld van hoe je kunstmatige intelligentie kunt gebruiken om met mensen te werken, waardoor de drempel voor het bereiken van vertrouwen wordt verlaagd door gebruik te maken van natuurlijke communicatiemechanismen tussen mensen en kunstmatige intelligentiesystemen."