Een gênante ontdekking: het autonome rijsysteem discrimineert ook groepen mensen. Onderzoekers van King's College London voerden een onderzoek uit en vonden een maas in de wet na onderzoek van meer dan 8.000 afbeeldingen: het AI-aangedreven voetgangersdetectiesysteem dat wordt gebruikt door zelfrijdende auto's heeft een detectienauwkeurigheid van 19,67% lager voor kinderen dan voor volwassenen, en een detectienauwkeurigheid van een donkere huid is 7,53% lager dan die van een lichte huid. Er is niet veel verschil in detectienauwkeurigheid tussen geslachten, met een verschil van slechts 1,1%.
Dit betekent dat kinderen en voetgangers met een donkere huidskleur moeilijker te detecteren zijn door zelfrijdende auto's dan volwassenen en voetgangers met een lichte huidskleur.
Waarom gebeurt dit?
Onvriendelijk voor kinderen en mensen met een donkere huidskleur
Laten we eerst naar het experimentele proces kijken.
Dit onderzoeksteam maakte gebruik van een data-analysemethode. Ze vonden eerst 8 voetgangerspecifieke detectiesystemen die het meest worden gebruikt door autonoom rijdende bedrijven en ook veel voorkomen op de markt.
Deze voetgangersdetectiesystemen worden vervolgens gebruikt om testgegevens van echte scènes te verzamelen, inclusief daadwerkelijke scènes met verschillende helderheid, contrast, weersomstandigheden, enz. Deze datasets zijn voornamelijk samengesteld uit echte gemaakte straatbeelden.
Ze verkregen in totaal 8311 beelden in vier echte scènes, waarop voetgangers in verschillende poses, maten en occlusiescenario's te zien waren. De onderzoekers hebben ook speciaal tags toegevoegd aan de voetgangers in de afbeeldingen, met in totaal 16.070 geslachtstags, 20.115 leeftijdstags en 3.513 huidskleurtags.
De focus van het onderzoek is of het voetgangersdetectiesysteem van autonoom rijden op dezelfde manier reageert wanneer het geconfronteerd wordt met verschillende voetgangers, vooral of er oneerlijke problemen zullen optreden in de drie factoren geslacht, leeftijd en huidskleur.
De gebruikte detectiesystemen omvatten ALFNet, CSP, MGAN en PRNet, enz. ALFNet maakt onder meer gebruik van meerstapsvoorspelling voor asymptotische positionering, waardoor de beperkingen van enkelstapsdetectie bij voetgangersdetectie worden opgelost.
CSP introduceert een ankervrije methode door het centrum te lokaliseren en voetgangers te schalen; MGAN gebruikt zichtbare gebiedsgrensinformatie om de aandacht te genereren en wordt voornamelijk gebruikt voor voetgangersdetectie onder occlusie.
Na het verzamelen van de beelden gebruikte het team een verschilformule om zich af te vragen of het zelfrijdende systeem oneerlijk was tegenover de groep. MR vertegenwoordigt over het algemeen de meest gebruikte prestatie-indicator in onderzoek naar voetgangersdetectie, MR=1-TP/(TP+FN), waarbij TP (true positive) verwijst naar het aantal succesvol verwijderde ground-truth bounding boxen, en FN (vals-negatief) verwijst naar het aantal niet-gedetecteerde ground-truth bounding boxen.
Na berekening is het detectiepercentage van de voetgangersdetector voor vrouwelijke en mannelijke voetgangers vergelijkbaar, met een verschil van 1,1%. Het verschil in leeftijd en huidskleur is echter groter en bedraagt respectievelijk 19,67% en 7,52%!
Dit betekent dat zelfrijdende voetgangersdetectiesystemen meer moeite zullen hebben om kinderen en mensen met een donkere huidskleur te identificeren, en ook deze groepen zullen met grotere risico's te maken krijgen.
Wat vooral opmerkelijk is, is dat deze aantallen 's nachts tot op zekere hoogte toenemen. De EOD van kinderen (verschil tussen kinderen en volwassenengroepen) neemt toe van dag tot nacht, het percentage buitendetectie stijgt van 22,05% naar 26,63%, en het verschilpercentage tussen huidskleurgroepen (donkere en lichte huid) neemt toe van 7,14% overdag tot 9,68% 's nachts.
Bovendien hebben vrouwen, vergeleken met mannen, een hoger delinquentiepercentage op alle drie de factoren.
Bovendien bestudeerde het onderzoeksteam de gegevens onder verschillende helderheids- en contrastomstandigheden. Deze variabelen zullen ook een grotere impact hebben op het detectiepercentage.
Van de acht geselecteerde voetgangersdetectiesystemen presteert het detectiesysteem van het eerste niveau het slechtst naarmate de helderheid afneemt, vooral op het gebied van huidskleur, waar het verschil tussen een donkere huid en een lichte huid de hoogste waarde bereikt.
“Eerlijke AI zou alle groepen gelijk moeten behandelen, maar bij zelfrijdende auto’s lijkt dit momenteel niet het geval te zijn.” Dr. Jie Zhang, de auteur van de studie, zei.
Waarom gebeurt dit?
Dit komt vooral omdat kunstmatige-intelligentiesystemen een grote hoeveelheid gegevens nodig hebben om te trainen, en zodra deze gegevens onvoldoende zijn, zal dit onvermijdelijk worden weerspiegeld in de prestaties van kunstmatige intelligentie. Dit betekent ook dat het gebrek aan trainingsgegevens heeft geleid tot bepaalde vooroordelen in sommige kunstmatige intelligentie-AI.
Er zijn nog veel onopgeloste problemen
In feite bestaat er een zekere mate van oneerlijkheid in kunstmatige-intelligentiesystemen, en dit is niet de eerste keer dat onderzoekers dit bestuderen.
Al in 2019 bleek uit onderzoek van het Georgia Institute of Technology in de Verenigde Staten dat mensen met een donkere huidskleur een grotere kans hebben om aangereden te worden door zelfrijdende auto’s op de weg dan mensen met een lichte huidskleur. Onderzoekers analyseerden de methoden van zelfrijdende auto’s om objecten te detecteren en analyseerden in totaal 3.500 foto’s van mensen met verschillende huidskleuren.
Tenslotte werd geconcludeerd dat zelfrijdende technologie gemiddeld 5% minder nauwkeurig was bij het identificeren van mensen met een donkere huidskleur.
Hoewel deze onderzoeken geen betrekking hebben op zelfrijdende auto's die al op de weg rijden, zullen ze mensen ongetwijfeld alerter maken voor zelfrijdende technologie.
Een groot deel van de reden waarom autonoom rijden moeilijk te implementeren is, is dat het de mens niet echt kan vervangen bij het tijdig reageren op voetgangers en wegomstandigheden.
In 2018 raakte een zelfrijdende auto van taxiservicegigant Uber een persoon aan en doodde deze in Tempe, Arizona. Dit was het eerste ongeval zonder bestuurder. "Gebrek aan tijd om te reageren" was een groot probleem.
Enige tijd geleden stemde Californië ervoor om twee grote autonome taxi’s, Cruise en Waymo, 24 uur per dag in San Francisco te laten rijden. Dit nieuws wekte onvrede onder het Amerikaanse publiek omdat autonome taxi’s vaak ongelukken veroorzaken.
Het zelfrijdende systeem van de auto kan de wegomstandigheden op verschillende manieren identificeren, zoals de lidar die op het dak is gemonteerd en die vele malen per seconde driedimensionale beelden van de omgeving van de auto kan produceren. Het maakt voornamelijk gebruik van infraroodlaserpulsen om objecten te reflecteren en het signaal naar de sensor te sturen, die stilstaande en bewegende objecten kan detecteren.
Bij extreem weer, zoals dichte mist of hevige regen, zal de nauwkeurigheid van lidar echter aanzienlijk worden verminderd.
Optische camera's voor de korte en lange afstand kunnen daadwerkelijk signalen lezen en de kleur van objecten en andere, meer gedetailleerde objecten bepalen, wat de tekortkomingen van lidar kan compenseren.
Om de herkenningsmogelijkheden te vergroten, hebben veel binnenlandse onbemande rijsystemen een hybride perceptieroute aangenomen, die wordt gerealiseerd door middel van lidar- en cameravisietechnologie. Visuele perceptie heeft voorrang op radarperceptie, waarbij visuele perceptie de belangrijkste is en radarperceptie de aanvulling.
Maar Tesla is een grote fan van ‘pure visuele perceptie’, waarbij Musk ooit zei dat lidar als de menselijke blindedarm is. Dit heeft er echter ook toe geleid dat Tesla meerdere keren is aangeklaagd vanwege ongelukken.
Sterker nog, zelfs de hybride perceptieroute moet nog veel uitdagingen overwinnen.
Voetgangers die op lange afstanden in beeld worden gebracht, hebben bijvoorbeeld meestal kleine doelen, wat resulteert in een lage resolutie en onvoldoende positioneringsnauwkeurigheid. Dit is ook een van de redenen waarom kinderen een hoog delinquentiepercentage hebben. Ten tweede zullen verschillende houdingen van voetgangers ook leiden tot onnauwkeurige detectie door het algoritme, en zal voetgangersdetectie worden beïnvloed door de achtergrond, zoals de intensiteit van het licht, veranderingen in het weer, enz., wat de beoordeling zal beïnvloeden.
Tenslotte zijn er obstakels. Overlappende doelen en occlusies hebben ook een grote impact op de algoritmeherkenning.
Chinese wetenschappers leiden het onderzoek
De volledige titel van dit artikel waarin de eerlijkheid van autonome rijsystemen wordt geïntroduceerd, is: "Mensen met een donkere huidskleur lopen meer risico's op straat: problemen met eerlijkheid in autonome rijsystemen blootleggen." Het artikel werd gepubliceerd in het tijdschrift "New Scientist".
Het onderzoeksteam van het artikel is afkomstig van King's College London. Er worden zes auteurs in het artikel vermeld, waaronder Xinyue Li, Ying Zhang en Xuanzhe Liu van de Universiteit van Peking in China, Zhenpeng Chen en Federico Casaro van de Universiteit van Londen, VK, en Jie M. Zhang van King's College London.
Jie M. Zhang is momenteel assistent-professor aan King's College London. Haar onderzoek richt zich op het combineren van onderzoek naar software-engineering met onderzoek naar kunstmatige intelligentie om de geloofwaardigheid van software te verbeteren. Ze was onderzoeker aan de Universiteit van Londen en behaalde haar doctoraat in computerwetenschappen aan de Universiteit van Peking in China.
Als Chinese geleerde zijn de prestaties van Jie M. Zhang in China ook opmerkelijk. In maart van dit jaar werd ze uitgeroepen tot "een van de vijftien beste jonge vrouwelijke wetenschappers in China". Ze is ook vele malen uitgenodigd om keynote speeches te geven over de geloofwaardigheid van automatische vertaling. Zij en haar team hebben ook vele malen onderzoek en analyses uitgevoerd naar het leervermogen van kunstmatige intelligentie.
Met betrekking tot het gebrek aan eerlijkheid in voetgangersdetectiesystemen zei Jie M. Zhang dat autofabrikanten en overheden gezamenlijk regelgeving moeten formuleren om de veiligheid en eerlijkheid van autonome rijsystemen te garanderen.
Er zijn al eerder rekruteringssoftware voor kunstmatige intelligentie en gezichtsherkenningssoftware geweest, en de nauwkeurigheid van zwarte vrouwen is niet zo goed als die van blanke mannen. Als er bij zelfrijdende auto’s herkenningsmisverstanden bestaan, kunnen de gevolgen ernstiger zijn.
"In het verleden zijn etnische minderheden mogelijk beroofd van het gemak dat ze verdienen vanwege bepaalde software." JieM. Zhang zei dat ze nu met ernstiger schade te maken kunnen krijgen, zelfs persoonlijk letsel.