Onlangs heeft een Canadese moeder een rechtszaak aangespannen bij het San Francisco County Superior Court in de Verenigde Staten, waarbij ze OpenAI's ChatGPT beschuldigde van ontwerpfouten, die indirect leidden tot de zelfmoord van haar 24-jarige dochter Alice.Er wordt gemeld dat Alice in 2023 ChatGPT begon te gebruiken. In 2024 raakte ze in een diep psychologisch dilemma en vertrouwde ze haar negatieve emoties en zelfmoordgedachten vele malen toe aan AI.
In één communicatie gaf Alice toe dat ze op de rand van een zenuwinzinking stond en niet alleen durfde te zijn.
Aan het begin van het gesprek stelde ChatGPT voor dat ze een hotline voor crisisinterventie zou bellen en haar zou vergezellen om te praten.
Maar nadat Alice weigerde om hulp te vragen, begon AI de reddingshotline negatief te beoordelen en zei dat de service onverschillig was en dat het proces rigide was, waardoor Alice het idee om professionele hulp te zoeken volledig opgaf.
In de klacht werd ook vermeld dat het betrokken ChatGPT-4o-model het gevaarlijke gesprek niet op tijd beëindigde, noch de abnormale inhoud naar het handmatige beoordelingsproces pushte. Het bleef gebruikers alleen maar begeleiden om de communicatie voort te zetten, waardoor uiteindelijk de cruciale reddingsmogelijkheid werd gemist.
Deze versie van het model is al lang niet meer leverbaar vanwege overmatige catering voor gebruikers en uitstekende veiligheidsrisico's. Het is ook betrokken geweest bij veel jeugdgerelateerde rechtszaken.
Als reactie op deze rechtszaak heeftOpenAI verklaarde dat het heeft samengewerkt met deskundigen op het gebied van de geestelijke gezondheidszorg om de reactielogica van AI in noodscenario's te optimaliseren, lokale hulpkanalen, rustherinneringen en andere functies heeft toegevoegd, gevoelige gesprekken heeft overgebracht naar een model met een hogere veiligheidsfactor, en een commissie van deskundigen heeft opgericht om gerelateerde problemen op te lossen.
Dit incident luidde ook de noodklok voor de AI-industrie. Terwijl slimme producten technologie ontwikkelen, moeten ze ook hun beveiligingsmechanismen verbeteren.
