Zorgen over kunstmatige intelligentie draaien vaak om kwesties als desinformatie of de mogelijkheid dat de technologie aan de menselijke controle ontsnapt. De meest reële zorg vandaag de dag is echter de manier waarop overheden AI inzetten en hun institutionele begrip (of het gebrek daaraan) van de tekortkomingen ervan. De Britse regering lijkt de technologie bijvoorbeeld te hebben omarmd in een tempo dat als overhaast en potentieel onveilig kan worden beschouwd.
Volgens de Guardian zijn meerdere Britse overheidsinstanties begonnen kunstmatige intelligentie te gebruiken om het dagelijks leven van gewone mensen aanzienlijk te beïnvloeden. De technologie speelt nu een rol in een verscheidenheid aan procedures, van arrestaties en huwelijksvergunningen tot uitkeringen.
Zelfs voordat kunstmatige intelligentie een veelbesproken trend werd, was het gebruik van gezichtsherkenningssystemen door de politie controversieel. Critici waarschuwen al lang voor de mogelijke onnauwkeurigheden ervan, vooral bij het analyseren van onderwerpen met een donkere huidskleur. Deze onnauwkeurigheid heeft in het verleden zelfs tot onrechtmatige aanhoudingen geleid. Ondanks dat ze zich bewust zijn van deze tekortkomingen, blijft de Londense Metropolitan Police gezichtsherkenning gebruiken en wijzigingen aanbrengen die de technologie kunnen schaden.
Het Britse National Physical Laboratory zei dat het systeem bij standaardinstellingen over het algemeen lage foutpercentages handhaaft. Als de Metropolitan Police echter haar gevoeligheid zou verminderen om verdachten sneller te identificeren, zou dit tot meer valse alarmen leiden. Als gevolg hiervan wordt het systeem minder nauwkeurig voor zwarte mensen, vijf keer minder nauwkeurig dan voor blanke mensen.
Bovendien hebben op AI gebaseerde instrumenten die door overheden worden gebruikt om uitkeringen en huwelijksvergunningen goed te keuren de neiging getoond om aanvragers uit bepaalde landen te discrimineren. Eén parlementslid benadrukte de vele gevallen van de afgelopen jaren waarin uitkeringen op onverklaarbare wijze zijn opgeschort, waardoor individuen op de rand van uitzetting en extreme armoede terecht zijn gekomen. Het vermoedelijke onderliggende probleem is het systeem van het Department for Work and Pensions (DWP) voor het opsporen van uitkeringsfraude, dat gedeeltelijk afhankelijk is van kunstmatige intelligentie.
Zelfs zonder substantieel bewijs van fraude markeerde het instrument onevenredig Bulgaarse onderdanen. De DWP benadrukt dat het systeem geen rekening houdt met nationaliteit. Ze geven echter toe dat ze de innerlijke werking van AI niet volledig begrijpen, omdat ze begrijpen dat systemen een beperkt vermogen hebben om vooroordelen te beheersen en zich zorgen maken dat slechte actoren het systeem zouden kunnen manipuleren.
Op dezelfde manier wordt het ministerie van Binnenlandse Zaken geconfronteerd met de uitdaging van een AI-gestuurd instrument dat is ontworpen om nephuwelijken te identificeren. Hoewel het systeem het goedkeuringsproces voor huwelijksvergunningen stroomlijnde, werd bij een interne evaluatie een groot aantal valse positieven aangetroffen, vooral bij aanvragers uit Griekenland, Albanië, Bulgarije en Roemenië.
Er kunnen nog andere vergissingen zijn bij de inzet van AI door de overheid, maar het is moeilijk om deze op te sporen zonder transparante gegevens van relevante departementen.
Misverstanden over de beperkingen van kunstmatige intelligentie hebben geleid tot ernstige incidenten binnen andere overheids- en juridische instanties. Eerder dit jaar probeerde een Amerikaanse advocaat ChatGPT te gebruiken om zaken aan te halen die bij de federale rechtbank waren ingediend, maar ontdekte dat ze allemaal door de chatbot waren verzonnen. Deze gevallen tonen steeds meer aan dat de werkelijke risico’s van AI wellicht meer voortkomen uit menselijk misbruik dan uit de technologie zelf.