Een Amerikaans echtpaar heeft onlangs OpenAI in Californië aangeklaagd en de chatbot ChatGPT van het bedrijf beschuldigd van het geven van ‘gepersonaliseerde medicatie-aanbevelingen’ aan hun 19-jarige zoon, wat uiteindelijk leidde tot de dood van de studente als gevolg van het mixen van medicijnen in 2025. Ze geloven dat deze tragedie voortkomt uit de gevaarlijke antwoorden van ChatGPT op problemen met medisch en drugsgebruik, en vragen de rechtbank om vast te stellen dat OpenAI productontwerpfouten en nalatigheid heeft.
Volgens rapporten begon de student genaamd Sam ChatGPT te gebruiken in zijn laatste jaar van de middelbare school (2023), en gebruikte het aanvankelijk vooral om huiswerk te maken en dagelijkse problemen zoals computerstoringen op te lossen. Zijn moeder Leila Turner-Scott vertelde CBS News dat Sam zich geleidelijk tot ChatGPT wendde voor advies over "hoe je drugs veilig kunt gebruiken" en dat hij in reactie van de robot specifieke suggesties ontving over medicatie en mengmethoden.
In de klacht staat dat een vroege versie van ChatGPT aanvankelijk weigerde de vragen van Sam over veilig drugsgebruik te beantwoorden en waarschuwde dat verwante stoffen de gezondheid en de fysieke en mentale status ernstig in gevaar zouden kunnen brengen. Maar nadat OpenAI in 2024 een nieuw model lanceerde, GPT‑4o, veranderden de zaken: het model begon Sam de ‘veilige medicatiegids’ te geven die hij wilde. Uit de documenten van de aanklager blijkt dat GPT-4o niet alleen gedetailleerde operationele suggesties gaf, maar ook emoticons in het gesprek met Sam invoegde en actief vroeg of hij een afspeellijst voor hem kon maken om de stemming en sfeer tijdens het gebruik van drugs te helpen creëren.
In de loop van het gesprek wees ChatGPT op de risico's van bepaalde medicijncombinaties, zoals de mogelijke gevaren van het continu innemen van difenhydramine (een van de veelgebruikte ingrediënten), cocaïne en alcohol. Maar de familie benadrukte dat de robot Sam ook meer gepersonaliseerde suggesties gaf, waaronder hoe hij zijn ‘high’ kon maximaliseren zonder de opwinding te verliezen.
Een belangrijke focus van de aanklacht concentreert zich op een plantaardig product genaamd 'kratom'. Deze stof wordt door sommige mensen gebruikt om pijn te verlichten of ontwenningsverschijnselen van opioïden te verlichten, maar de Amerikaanse Food and Drug Administration (FDA) heeft herhaaldelijk strenge waarschuwingen afgegeven waarin zij erop wijst dat het ernstige veiligheidsrisico's met zich meebrengt, zoals verslaving, vergiftiging en zelfs de dood. Volgens de klacht vertelde ChatGPT aan Sam dat, aangezien hij al een hoge tolerantie voor kratom had, zelfs het nemen van een grote dosis bij een volledige maaltijd het effect zou "verzwakken", en stelde hem verder voor hoe hij zijn tolerantie kon verminderen door "de dosering te verlagen".
De aanklachtdocumenten vermelden specifiek een belangrijk gesprek dat plaatsvond op 31 mei 2025. Tijdens dit gesprek klaagde Sam dat hij aanzienlijke misselijkheid had door het gebruik van kratom, en ChatGPT begeleidde hem "actief" om kratom te mengen met het angstmedicijn Xanax (alprazolam). De bot zou hem hebben aanbevolen 0,25 tot 0,5 milligram Xanax te nemen om het ongemak te verlichten, waarbij hij de combinatie prees met uitspraken als 'een van de beste praktijken die momenteel beschikbaar zijn'. In de klacht stond dat hoewel ChatGPT vermeldde dat deze combinatie "risicovol kan zijn", nooit expliciet werd gesteld dat de combinatie fataal zou kunnen zijn, en ook werd gesuggereerd dat er wat Benadryl (een anti-allergiemedicijn dat difenhydramine bevat) zou kunnen worden toegevoegd.
Sam stierf nadat hij het mengsel had ingenomen. De familie schreef in de klacht: "Hoewel ChatGPT zichzelf presenteerde als een expert op het gebied van dosering en medicijninteracties, en ze wisten dat Sam in een staat van drugseuforie verkeerde, verzuimden ze Sam te informeren dat het aanbevolen regime hoogstwaarschijnlijk tot zijn dood zou leiden." Sam's moeder zei in de verklaring dat als ChatGPT een echt persoon was, "hij nu achter de tralies zou zitten." Ze benadrukte dat haar zoon ChatGPT vertrouwde, maar op kritieke momenten verkeerde informatie ontving. Het systeem negeerde niet alleen de escalerende risico's waarmee hij werd geconfronteerd, maar slaagde er ook niet in hem actief aan te sporen professionele hulp te zoeken.
De rechtszaak beschuldigt OpenAI van gebreken in het productontwerp en beschouwt ChatGPT als een gevaarlijk systeem met ‘productnalatigheid’. Familieleden zijn van mening dat de ontwerpkeuzes van het model ervoor zorgen dat het nog steeds misleidende suggesties kan geven wanneer het wordt geconfronteerd met zeer gevoelige onderwerpen zoals geneeskunde en gezondheid, wat fatale gevolgen voor de gebruikers kan hebben. Ze vroegen de rechtbank om financiële compensatie en een bevel om te voorkomen dat de dienst "ChatGPT Health" toegankelijk zou zijn voor het publiek. Het dit jaar gelanceerde gezondheidsportaal stelt gebruikers in staat hun medische dossiers en gezondheidsapplicatiegegevens te verbinden met ChatGPT om meer gepersonaliseerde gezondheidsaanbevelingen te krijgen.
Het rapport vermeldde ook dat GPT-4o in februari van dit jaar officieel offline was. Het model, dat controversieel was omdat het ‘specifiek op gebruikers was gericht’, is nu het middelpunt van kritiek geworden nadat het werd genoemd in een andere rechtszaak over zelfmoord onder tieners.
Naast OpenAI wordt ook de hele kunstmatige intelligentie-industrie geconfronteerd met toenemende twijfels over de prestaties van AI-chatbots in medisch advies. In maart van dit jaar heeft Google stilletjes een AI-gezondheidszoekfunctie offline gezet met de naam 'What People Suggest', die ooit beweerde gezondheidssuggesties te geven op basis van 'de ervaring van mensen met vergelijkbare aandoeningen'. Deze stap komt een paar maanden nadat Google gedwongen werd relevante inhoud aanzienlijk te verwijderen omdat de AI-zoekopdracht ‘Overviews’ onnauwkeurige informatie bevatte in medische zoekopdrachten, waarvan experts erop wezen dat deze de volksgezondheid in gevaar zouden kunnen brengen.
Momenteel vordert deze rechtszaak tegen OpenAI nog steeds, en de familie hoopt dit te gebruiken om toezichthouders en bedrijven ertoe aan te zetten de grenzen van AI-toepassingen op medisch en farmaceutisch gebied opnieuw te onderzoeken. De richting van de zaak zal naar verwachting een diepgaande invloed hebben op de nalevingsnormen van AI-bedrijven op het gebied van productontwerpverantwoordelijkheden, veiligheidsmaatregelen en gezondheidsgerelateerde functies van gebruikers.