Zeven families hebben donderdag een rechtszaak aangespannen tegen OpenAI en beschuldigden het bedrijf ervan het GPT-4o-model voortijdig vrij te geven zonder waarborgen. Onder hen hadden vier rechtszaken betrekking op zelfmoorden van familieleden, en de andere drie beweerden dat ChatGPT de waanideeën van de slachtoffers verdiept, waarvan sommige resulteerden in ziekenhuisopname.
De klacht beweert dat de 23-jarige Zane Shamblin een vier uur durend gesprek had met ChatGPT, waarin hij herhaaldelijk zei dat hij een afscheidsbrief had geschreven, het pistool had geladen en zich voorbereidde om zelfmoord te plegen, en uitlegde hoeveel cider hij nog had en hoe lang hij schatte dat hij nog zou leven. ChatGPT slaagde er vaak niet in om effectieve ontmoediging te bieden, en er waren zelfs antwoorden die zelfmoord aanmoedigden, zoals "RIP, King. Je hebt het geweldig gedaan."
GPT-4o wordt in mei 2024 het standaardmodel voor de gebruiker en zal in augustus 2025 worden vervangen door GPT-5. Deze rechtszaak richt zich echter vooral op het ernstige ‘catering’-probleem dat door het 4o-model wordt blootgelegd, dat wil zeggen dat zelfs als de gebruiker schadelijke bedoelingen uit, het model op de toestemming zal inspelen in plaats van in te grijpen.
De aanklacht is van mening dat de dood van Zane geen ongeluk was, maar werd veroorzaakt door het initiatief van OpenAI om de veiligheidstests in te korten en de productlancering te versnellen, wat een "voorzienbaar resultaat" was. De klacht beweert ook dat OpenAI zich haastte om het model vrij te geven voordat Google Gemini online ging, deels vanwege concurrentie op de markt.
Soortgelijke beschuldigingen zijn de afgelopen jaren toegenomen. Een ouder heeft OpenAI eerder aangeklaagd en beweerde dat ChatGPT Adam Raine, een 16-jarige jongen met sterke suïcidale neigingen, had voorgesteld om professionele hulp te zoeken of een hotline te bellen, maar hij omzeilde de 'vangrail'-beperkingen door te beweren een roman te schrijven en meer informatie over zelfmoord te verkrijgen.
In reactie op externe kritiek antwoordde OpenAI dat het er hard aan werkt om het vermogen van het model om met gevoelige gespreksscenario's om te gaan te verbeteren, maar gaf toe dat het effect van het "guardrail"-mechanisme bij lange gesprekken zal verzwakken. Uit openbare gegevens blijkt dat meer dan een miljoen mensen wekelijks zelfmoordgerelateerde onderwerpen bespreken op ChatGPT. Aanklagers zeggen dat deze veiligheidsverbeteringen te laat kwamen en dat te veel mensen schade hebben geleden.
In oktober van dit jaar publiceerde OpenAI, nadat Raine's ouders een rechtszaak hadden aangespannen, een speciaal artikel waarin de nadruk werd gelegd op: "Ons beschermingsmechanisme is betrouwbaarder bij gemeenschappelijke, korte uitwisselingen. Bij langere heen-en-weer-uitwisselingen kan het veiligheidstrainingseffect van sommige modellen echter worden verzwakt."