Een middelbare school in Oviedo, Florida, VS, kreeg deze week te maken met een "Code Red"-uitsluiting, veroorzaakt door een vals alarm van een wapenherkenningssysteem met kunstmatige intelligentie. De klarinet in de hand van een leerling werd door het systeem ten onrechte als een pistool geïdentificeerd. De school ging onmiddellijk in een noodsluitingstoestand. De school en de politie reageerden snel en bevestigden uiteindelijk dat er geen sprake was van een echte dreiging. Dit eigen incident gaf ouders niet alleen vals alarm, maar bracht ook opnieuw de kwestie van nauwkeurigheid en toezicht op de steeds populairder wordende AI-beveiligingssystemen op scholen op de voorgrond.

Het incident vond plaats op de Lawton Chiles Middle School. Het AI-dreigingsdetectieplatform dat in de school werd ingezet, scande de realtime beelden via bewakingscamera’s en ‘identificeerde’ de klarinet die de leerling droeg als een potentieel vuurwapen, waardoor een systeemalarm werd geactiveerd. De school startte onmiddellijk de 'Code Red'-lockdownprocedure op het hoogste niveau, waarbij de campus werd afgezet en de politie werd gewaarschuwd dat ze moesten arriveren. De blokkade werd pas opgeheven toen werd bevestigd dat de zogenaamde "wapens" eigenlijk muziekinstrumenten waren. De directeur benadrukte later in een bericht aan de ouders dat er op dat moment geen echte veiligheidsdreiging op de campus bestond, maar herinnerde de ouders er nog steeds aan om met hun kinderen te communiceren en geen gevaarlijke bewegingen te maken, zoals 'doen alsof ze wapens vasthouden' op de campus.

Volgens rapporten maakt het Seminole County School District, waar de school is gevestigd, gebruik van de cloud-vuurwapendetectiedienst van ZeroEyes, een bedrijf met hoofdkantoor in Pennsylvania. De contractwaarde bedraagt ​​250.000 dollar. Het systeem is verbonden met bestaande bewakingscamera's en maakt gebruik van computer vision-algoritmen om de contouren en kenmerken te identificeren van wapens die op de foto kunnen verschijnen. Volgens officiële informatie is het AI-model getraind op honderden vuurwapenafbeeldingen. Zodra het systeem 'denkt' dat er een wapen is gevonden, worden de relevante beelden naar het ZeroEyes-waarnemingscentrum gestuurd voor beoordeling door menselijke analisten voordat wordt besloten of er een waarschuwing moet worden afgegeven aan de school of de wetshandhavingsinstantie. Bij dit incident slaagde dit mechanisme van ‘handmatige secundaire bevestiging’ er echter duidelijk niet in om te voorkomen dat valse alarmen uitmondden in een schoolbrede afsluiting.

Het ZeroEyes-platform is geïmplementeerd in 43 staten in de Verenigde Staten en heeft zijn intrede gedaan in veel dichtbevolkte schooldistricten in Florida. Het bedrijf positioneert het als een ‘preventieve’ beveiligingsmethode, in de hoop de reactietijd op schietpartijen op scholen te verkorten door snellere identificatie van bedreigingen. De door het bedrijf vrijgegeven prestatiegegevens zijn echter uiterst beperkt en er zijn vrijwel geen gedetailleerde statistieken over de nauwkeurigheid van de herkenning, het aantal valse alarmen en de succesvolle preventie van echte bedreigingen, wat het voor buitenstaanders ook moeilijk maakt om het daadwerkelijke effect ervan te beoordelen. In reactie op vragen van de media omschreef Seminole County Safety and Security het systeem slechts in grote lijnen als een ‘effectief afschrikmiddel’, zonder enige bewezen gegevens over de onderschepping van dreigingen te geven of aan te geven hoe vaak soortgelijke valse alarmen voorkomen.

Als gevolg hiervan hebben ouders en veiligheidsexperts over het algemeen opgeroepen tot meer transparantie en verantwoordingsplicht. Sommige ouders uitten botweg hun twijfels over de vraag of het systeem 'waar voor je geld' is. Ze hopen dat het schooldistrict specifieke statistieken kan verstrekken om de effectiviteit van dit dure programma te bewijzen, en vragen zich af waarom, als echte bedreigingen met succes zijn ontdekt, deze nooit aan het publiek zijn bekendgemaakt. Onafhankelijke technologieanalisten wezen erop dat er momenteel vrijwel geen evaluatie van ZeroEyes door derden bestaat, en dat de publiekelijk gerapporteerde meningen ook meer verdeeld zijn. Sommige deskundigen op het gebied van de openbare veiligheid maken zich zorgen dat dergelijke systemen eerder een 'illusie van veiligheid' bieden dan een bewezen risicovermindering.

Op beleidsniveau heeft ZeroEyes ook meerstatenwetgeving gepromoot via geregistreerde lobbyisten, en heeft het in sommige staten een vergelijkbare status van "aangewezen leverancier" verkregen, waardoor het de enige goedgekeurde leverancier van AI-vuurwapendetectie is op het gebied van inkoop van campusbeveiliging. Critici zijn van mening dat dit soort wetgeving feitelijk concurrenten verdringt, de ruimte voor evaluatie en debat bij overheidsopdrachten verzwakt en de publieke discussie over de betrouwbaarheid van AI-toezicht aanzienlijk vermindert. Tegelijkertijd waarschuwen beveiligings- en privacyonderzoekers dat het blindelings uitbreiden van AI-surveillance op de campus meer schade voor studenten kan veroorzaken dan potentiële voordelen, waaronder een sfeer van hoge druk veroorzaakt door veelvuldig vals alarm, de overmatige blootstelling van studenten aan politiediensten en voortdurende monitoring van het dagelijkse gedrag.

Een beleidsadviseur van de American Civil Liberties Union heeft er ooit op gewezen dat als het systeem een ​​hoge frequentie aan valse alarmen kent, dit niet alleen onnodige blokkades en paniek zal veroorzaken, maar er ook voor kan zorgen dat scholen en ouders ‘verdoofd’ worden door valse alarmen, wat op zijn beurt hun gevoeligheid voor echte crises verzwakt. Momenteel is een groot aantal trainingsgegevens voor AI-beveiligingssystemen afkomstig van relatief controleerbare beeldsets. Rugzakken, muziekinstrumenten, sportuitrusting en andere items die in echte campusomgevingen voorkomen, hebben echter complexe vormen en kunnen gemakkelijk worden verward met de contouren van vuurwapens in het model. Deze keer werd een klarinet aangezien voor een pistool. Na dit incident beschouwt het Seminole County School District dit systeem nog steeds als een "noodzakelijke verdedigingslinie". De betrouwbaarheid en de kosten ervan hebben echter tot bredere maatschappelijke discussies geleid. De buitenwereld wacht ook af of elk schooldistrict in de toekomst zal blijven vertrouwen op dit soort AI-monitoring, of zal overgaan tot strengere prestatie-openbaarmakings- en toezichtvereisten voor leveranciers.