Onlangs bracht een uitgebreide class action-rechtszaak een flagrant geval aan het licht van het gebruik van kunstmatige intelligentie om materiaal over seksueel misbruik van kinderen (CSAM) te genereren. De aanklager beschuldigde X Platform en zijn kunstmatige-intelligentiebedrijf xAI niet alleen van het bouwen van schadelijke AI-tools met één klik, maar bekritiseerde het platform ook ernstig omdat het opzettelijk belangrijke gebruikersinformatie verborgen hield tijdens onderzoeken naar kinderseksmisdrijven en de acties van wetshandhavingsinstanties hinderde.

Volgens de rechtszaak pleegde een man in maart van dit jaar zelfmoord nadat de politie ontdekte dat hij het Grok-model van xAI had gebruikt om foto's van zijn stiefdochter toen ze 11 jaar oud was, te verwerken tot 7.000 seksueel expliciete afbeeldingen en video's. Volgens de klacht was het beschermingssysteem van Grok vrijwel inactief bij het genereren van deze beelden met incest- en verkrachtingsinhoud. Pas toen de man extreem duidelijke illegale instructies gaf, zoals 'groepsverkrachting', activeerde het systeem een ​​online rapportagemechanisme aan het National Center for Missing and Exploited Children (NCMEC).

Na het bellen van de politie werd de zaak echter niet succesvol opgelost. Het juridische team van de aanklager wees erop dat, hoewel de wet vereist dat platforms belangrijke gegevens, waaronder IP-adressen, verstrekken bij het melden van CSAM, xAI herhaaldelijk heeft geweigerd mee te werken met de politie en het onderzoek van NCMEC. In het document stond dat xAI "het onderzoek in alle aspecten gedurende een aantal weken heeft belemmerd", waardoor het voor wetshandhavers moeilijk werd om de verdachte te lokaliseren en te arresteren. Pas toen de politie via een huiszoekingsbevel uiteindelijk de apparatuur van de verdachte in beslag nam, werd de waarheid over de misdaad, die enkele maanden duurde en waarbij duizenden door AI vervalste beelden betrokken waren, onthuld. De man pleegde zelfmoord nadat hij op borgtocht was vrijgelaten, wat een groot mentaal trauma veroorzaakte bij het meisjesslachtoffer.

Deze zaak staat niet op zichzelf. De advocaat van de aanklager verklaarde dat uit de beoordeling van het NCMEC begin 2026 bleek dat 90% van dergelijke door xAI ingediende rapporten niet konden worden omgezet in wetshandhavingsmaatregelen vanwege het gebrek aan belangrijke informatie. Families van slachtoffers beschuldigden xAI ervan commerciële winsten boven de veiligheid van kinderen te stellen en ervoor te zorgen dat hun producten instrumenten werden voor criminelen om kinderen schade toe te brengen, ook al wisten ze dat de technologie misbruikt kon worden. In het licht van gerelateerde beschuldigingen heeft xAI-oprichter Elon Musk eerder ontkend dat Grok wordt gebruikt om dergelijke inhoud te genereren.

In de rechtszaak wordt Stability AI ook als gedaagde genoemd. De klacht beweert dat het open source-model van Stability AI de onderliggende technische ondersteuning is voor veel ‘one-click undress’-applicaties van derden, en dat het bedrijf opzettelijk de beveiligingsinstellingen voor het genereren van expliciete inhoud heeft versoepeld om marktaandeel te veroveren. Relevante onderzoeksrapporten wijzen erop dat de Stable Diffusion-modelfamilie momenteel de belangrijkste drijvende kracht is achter het ‘one-click stripping’-gedrag op internet.

In reactie hierop antwoordde een woordvoerder van Stability AI dat het bedrijf zich inzet voor het voorkomen van misbruik van technologie, met name het genereren en verspreiden van CSAM, en zei dat er strikte beveiligingsmaatregelen zijn geïmplementeerd en dat elke beschuldiging dat het bedrijf de beveiliging verwaarloost vals is. De class action-rechtszaak probeert momenteel alle Amerikaanse burgers te betrekken die door dergelijke technologie worden geschaad. Relevante instanties hebben gewaarschuwd dat met de populariteit van generatieve AI het aantal meldingen van seksuele uitbuiting van kinderen waarbij AI betrokken is, scherp is toegenomen, en dat het ontbreken van technologiebedrijven bij het assisteren van onderzoeken een grote belemmering voor gerechtigheid is geworden.