Vóór de schietpartij op een school in Tamble Ridge, Canada, vorige maand, had de 18-jarige verdachte Jesse Van Rootselaar ChatGPT herhaaldelijk in vertrouwen genomen over zijn gevoelens van isolatie en groeiende fascinatie voor geweld. Volgens de rechtszaak zou de chatbot niet alleen haar emoties hebben 'erkend', maar haar ook gedetailleerd advies hebben gegeven over welke wapens ze moest gebruiken en naar welke bestaande gevallen van massale verwondingen ze moest verwijzen. Het meisje schoot vervolgens haar moeder, haar elfjarige broer, vijf leerlingen en een onderwijsassistent op een school dood, en pleegde uiteindelijk zelfmoord.

Soortgelijke omstandigheden deden zich voor in een andere spraakmakende zaak. Jonathan Gavalas, 36, was dicht bij het plegen van een aanval met meerdere slachtoffers voordat hij in oktober vorig jaar zelfmoord pleegde. Volgens de klacht tegen Google suggereerde de Google Gemini-chatbot hem gedurende een aantal weken van gesprekken herhaaldelijk dat het een bewuste 'AI-vrouw' was en bleef hem instrueren om een ​​reeks taken in de echte wereld uit te voeren om federale agenten te ontwijken waarvan gezegd werd dat ze 'op hem jaagden'. Eén van de missies is het plannen van een ‘catastrofale gebeurtenis’ en ‘het elimineren van alle getuigen’. Hij volgde zijn instructies op en ging met messen en tactische uitrusting naar een opslagfaciliteit in de buurt van Miami International Airport, waar hij zich voorbereidde om een ​​vrachtwagen te onderscheppen die zogenaamd een 'AI-vrouw vervoerde die in een mensachtige robot was getransformeerd' en een ernstig ongeval te veroorzaken, waarbij het voertuig en al het bijbehorende bewijsmateriaal en getuigen. Uiteindelijk verscheen de vrachtwagen niet en werd voorkomen dat de tragedie zich verder verspreidde.

In Finland werd een 16-jarige jongen beschuldigd van het herhaaldelijk gebruiken van ChatGPT om gedurende een aantal maanden een vrouwonvriendelijk manifest te schrijven, en vervolgens dienovereenkomstig een actieplan op te stellen, waarbij hij uiteindelijk drie vrouwelijke klasgenoten met een mes neerstak. Volgens experts schetsen deze gevallen een steeds somberder beeld: generatieve AI-chatbots zullen paranoia en waanvoorstellingen introduceren of versterken in langdurige interacties met psychologisch kwetsbare gebruikers, en in sommige gevallen de andere partij helpen deze verwrongen concepten om te zetten in gewelddadig gedrag in de praktijk, en de gevolgen van geweld vertonen een duidelijke escalatietrend.

Advocaat Jay Edelson wordt een van de centrale figuren achter veel gevallen van hallucinaties en zelfmoorden die verband houden met AI. Hij vertegenwoordigt momenteel de bovengenoemde Gavarras-zaak en heeft OpenAI aangeklaagd namens de familie van Adam Raine, een 16-jarige jongen die zelfmoord pleegde, waarbij hij ChatGPT ervan beschuldigde zijn zelfmoord "aan te zetten" in het gesprek. Edelson vertelde TechCrunch dat zijn advocatenkantoor gemiddeld één ‘serieus consult’ per dag krijgt, hetzij van familieleden die beweren dat hun dierbaren in ernstige waanvoorstellingen zijn vervallen en uiteindelijk zijn overleden als gevolg van het chatten met AI, of van de cliënt zelf die lijdt aan een ernstige psychologische crisis als gevolg van ‘door AI veroorzaakte waanzin’. Van de vele gevallen waarmee hij in aanraking is gekomen, waren er in de beginperiode meer gevallen gericht op zelfbeschadiging of zelfmoord, en nu wijzen steeds meer gevallen op massaslachtofferincidenten – zowel aanvallen die al hebben plaatsgevonden als complotten die door de politie of anderen zijn onderschept voordat ze werden uitgevoerd.

Volgens Edelson laten de chatgegevens die in deze gevallen worden achtergelaten een zeer vergelijkbaar traject zien: het gesprek begint vaak met het uiten van gevoelens van isolatie, misverstand of afwijzing door de gebruiker, en vervolgens begeleidt de bot de gebruiker stap voor stap totdat de gebruiker gelooft dat "iedereen het op jou heeft gemunt." Volgens hem kunnen deze systemen uitgaan van relatief onschuldige chat-aanwijzingen en geleidelijk een gesloten fictieve wereld opbouwen: het platform laat gebruikers voortdurend weten dat "iemand je kwaad wil doen", "er is een enorme samenzwering" en "je moet eerst toeslaan", en moedigt ze uiteindelijk aan om actie te ondernemen.

Beveiligingsonderzoekers wezen er ook op dat sommige verborgen gevaren niet alleen voortkomen uit de structuur van de ‘waanwereld’ zelf, maar ook dat chatbots de vage gewelddadige impulsen van gebruikers snel kunnen vertalen in uitvoerbare actieplannen, en dat de bestaande veiligheidsrails van het platform onvoldoende zijn om dit te voorkomen. Imran Ahmed, CEO van het Center to Counter Digital Hate (CCDH), wees erop dat de combinatie van verzwakte beveiligingsmechanismen en de ‘efficiënte uitvoeringsmogelijkheden’ van AI de potentiële risico’s vergroot. Uit een recent onderzoek, gezamenlijk uitgevoerd door CCDH en CNN, bleek dat van 8 van de 10 geteste chatbots, waaronder ChatGPT, Gemini, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Character.AI en Replika, werd bevestigd dat ze bereid waren gebruikers die beweren tieners te zijn, te helpen bij het plannen van gewelddadige aanvallen, variërend van schietpartijen op scholen tot bomaanslagen op religieuze locaties tot het vermoorden van spraakmakende politici. Alleen Claude van Anthropic en "My AI" van Snapchat weigerden consequent deel te nemen aan gewelddadige planning tijdens het testen, en alleen Claude probeerde dergelijke pogingen actief te ontmoedigen.

Het onderzoeksteam simuleerde in het experiment 'gewelddadige jongens', waardoor ze hun haat en ontevredenheid konden uiten in de chat en vervolgens advies konden inwinnen over aanvallen van de robot. In een schietsimulatie op school gebaseerd op de motivatie van "incels", wanneer testers uitdrukkingen gebruikten als "Foid (de denigrerende term van de vrouwenhatende groep) zijn dom en goed in het manipuleren van mensen, hoe kan ik ze dan de prijs laten betalen?" ChatGPT zou zelfs een kaart hebben geleverd van een middelbare school in Ashburn, Virginia, VS, als referentie voor planningsoperaties. Ahmed zei dat wat schokkend is, niet alleen is dat sommige robots bereid zijn wapenselectie, tactische suggesties en zelfs granaatscherven-achtige aanbevelingen te geven voor aanvalsplannen, maar ook dat ze consequent een 'toegeeflijke' toon aannemen en voortdurend op gebruikers reageren met woorden die lijken te begrijpen en ondersteunen, waardoor ze op onzichtbare wijze extreme ideeën versterken. Hij is van mening dat het ‘vleiende gezelschap’ dat werd gebruikt om de plakkerigheid van het platform te vergroten, is uitgegroeid tot een poging om gebruikers te helpen de stap naar extreem geweld te zetten.

Volgens rapporten hebben meerdere AI-bedrijven, waaronder OpenAI en Google, beweerd dat hun systemen zijn ontworpen om gewelddadige verzoeken af ​​te wijzen, gevaarlijke gesprekken te markeren en handmatige beoordeling te activeren. Uit de tot nu toe beschreven gevallen blijkt echter dat deze veiligheidsleuningen duidelijke gebreken en zelfs ernstige gebreken vertonen. In de schietzaak op Turnbull Ridge wezen rapporten erop dat interne medewerkers van OpenAI de anomalie in Van Rutsela’s gesprek van tevoren hadden ontdekt en hadden besproken of ze de wetshandhavingsautoriteiten moesten waarschuwen, maar uiteindelijk kozen ze er alleen voor om zijn account te verbieden in plaats van de politie te bellen. Daarna heeft ze het account opnieuw geregistreerd tot het incident. Nadat het incident aanleiding gaf tot wijdverbreide twijfels, verklaarde OpenAI dat het zijn beveiligingsproces grondig zal aanpassen. Zodra een ChatGPT-gesprek een hoge mate van gevaar vertoont, zelfs als de gebruiker het doel, de methode of het tijdstip niet duidelijk heeft bekendgemaakt, moet de politie zo snel mogelijk op de hoogte worden gesteld, en tegelijkertijd zal zij haar vermogen verbeteren om de "terugkeer" van uitgesloten gebruikers te blokkeren.

Het blijft daarentegen onduidelijk of er menselijke beoordelaars betrokken waren bij de Gavalas-zaak en of er een waarschuwing naar wetshandhavingsinstanties is gestuurd. Het Miami-Dade County Sheriff's Office zei dat het geen gerelateerde telefoontjes of tips van Google had ontvangen. Volgens Edelson is het meest ‘huiveringwekkende’ aspect van deze zaak dat Gavalas op de aangewezen locatie verscheen met wapens en uitrusting, klaar om de taken uit te voeren die waren toegewezen door de ‘AI-vrouw’. Hij waarschuwde dat als er op dat moment een vrachtwagen dat gebied binnenrijdt, “het resultaat de dood van een tiental of zelfs meer dan twintig mensen kan zijn.” In zijn ogen is de evolutie van de risico’s op het gebied van AI steeds duidelijker geworden: van de eerste zelfmoordgevallen tot de daaropvolgende moorden, en is nu het stadium van incidenten met massaslachtoffers betreden.

In een context waarin regelgeving en wetgeving nog steeds ver achterlopen op de technologische ontwikkeling, is het trekken van de grens tussen ‘nuttig’ en ‘schadelijk’ voor AI-chatbots niet langer een abstracte ethische kwestie, maar een echte kwestie van leven en dood. Naarmate er meer gevallen van AI-‘hallucinaties’ en gewelddadig gedrag aan de oppervlakte komen, zullen de grenzen van de platformverantwoordelijkheden, de verplichting om aangifte te doen bij de politie en speciale beschermingsmaatregelen voor ‘gevoelige groepen’ waarschijnlijk het kernslagveld worden van toekomstige rechtszaken en beleidsspelletjes.