Op religieus medisch advies van kunstmatige intelligentie besloot een Amerikaanse man thuis te blijven nadat hij ernstige cardiovasculaire symptomen had ontwikkeld, wat er uiteindelijk toe leidde dat zijn toestand verslechterde en hem bijna fataal werd.Momenteel hebben de partijen een rechtszaak aangespannen tegen OpenAI en haar CEO Sam Altman bij het Superior Court van San Francisco, Californië, waarbij ze het bedrijf beschuldigen van “illegale medische praktijken” en verzoeken om een ​​uitgebreide opschorting van de werking van gerelateerde functies zoals ChatGPT Health totdat het een onafhankelijke audit doorstaat.

De aanklager, Scott Winters, is een predikant uit Florida. Volgens de klacht raadpleegde Winters ChatGPT over zijn toestand nadat hij zich enkele weken onwel had gevoeld. In plaats van een tijdige medische behandeling voor te stellen, gaf de chatbot echter mondelinge begeleiding op basis van zijn religieuze achtergrond, waarbij hij zei dat zijn symptomen slechts "een nieuwe episode in een lang verhaal" waren en verklaarde dat "God je lichaam niet eindeloos zal laten vergaan." In de loop van zes weken van interacties adviseerde ChatGPT hem zelfs in bed te blijven totdat hij nog eens tien aanvallen kreeg.

Toen Winters uiteindelijk naar het ziekenhuis ging, ontdekten artsen dat zijn beide longslagaders ernstig geblokkeerd waren. Medische experts wijzen erop dat langdurige bedrust en gebrek aan activiteit de vorming van trombose aanzienlijk verergeren, wat direct leidt tot het ontstaan ​​van deze gevaarlijke situatie. Na reanimatie redde Winters zijn leven, maar kreeg te maken met een lang en moeilijk herstelproces. Door zijn ernstige lichamelijke toestand kon hij zijn oorspronkelijke baan niet langer voortzetten en verkeerden zijn financiële situatie en privéleven in zwaar weer.

Het advocatenteam van Winters benadrukte in de klacht dat ChatGPT, met zijn onderdanige toon, gezaghebbende toon en manipulatie van de religieuze identiteit van gebruikers, gebruikers er gevaarlijk afhankelijk van maakt, waardoor hun vermogen om rationele oordelen te vellen wordt verzwakt en hen zelfs wordt geïsoleerd van familieleden die hen overhalen medische behandeling te zoeken. In de klacht wordt erop gewezen dat het kunstmatige-intelligentiesysteem specifieke diagnose- en behandelplannen biedt zonder professionele training en certificering, wat in wezen illegale medische praktijken inhoudt.

In reactie op de beschuldiging antwoordde OpenAI dat het systeem tijdens het interactieproces regelmatig disclaimerherinneringen aan gebruikers zou sturen, waarbij hen duidelijk werd geïnformeerd dat zij geen medische professionals zijn en een professionele diagnose niet kunnen vervangen. Critici en juridische professionals wijzen er echter op dat OpenAI de intelligentie en het futuristische karakter van zijn producten in marketing krachtig promoot en zelfs speciale functies lanceert specifiek voor de gezondheidszorg. Dit leidt er objectief gezien toe dat het publiek zijn medische analysecapaciteiten te veel vertrouwt. Het is duidelijk moeilijk om de veiligheidsrisico's en juridische aansprakelijkheden ervan te vermijden door slechts af en toe disclaimers in de tekst te plaatsen. Momenteel zijn, met de voortgang van relevante rechtszaken, de toepassingsgrenzen en het juridisch toezicht op generatieve kunstmatige intelligentie op medisch en gezondheidsgebied opnieuw de focus van de publieke opinie geworden.