Op 15 april meldde Bloomberg dat uit een nieuw onderzoek blijkt dat AI-gestuurde chatbots ongeveer de helft van de tijd antwoorden geven op problematische vragen bij het geven van medisch advies. De ontdekking benadrukt de gezondheidsrisico’s van AI, een nieuwe technologie die steeds meer in het dagelijks leven wordt geïntegreerd.
Onderzoekers uit de Verenigde Staten, Canada en het Verenigd Koninkrijk hebben vijf toonaangevende AI-platforms geëvalueerd: ChatGPT, Gemini, Meta AI, Grok en DeepSeek, door elk platform tien vragen te stellen in vijf gezondheidscategorieën. Volgens onderzoek dat deze week in het medische tijdschrift BMJ Open werd gepubliceerd, werd ongeveer 50% van alle reacties van deze AI-chatbots als ‘problematisch’ beschouwd, terwijl bijna 20% als ‘zeer twijfelachtig’ werd geclassificeerd.
Uit het onderzoek bleek dat deze chatbots significant verschillend presteerden op verschillende soorten vragen: ze presteerden relatief beter op gesloten vragen (de antwoorden zijn zeker) en op vragen die verband houden met vaccins en kanker, maar presteerden slechter op open vragen en op gebieden als stamcelonderzoek en voeding.
Geel betekent dat er een probleem is, oranje betekent dat er een hoogteprobleem is
De onderzoekers zeiden dat de antwoorden vaak op een zelfverzekerde en bepaalde toon werden gegeven, maar geen van de chatbots leverde een volledige en nauwkeurige referentielijst op als reactie op een vraag. Gedurende het onderzoek weigerde de chatbot slechts twee keer vragen te beantwoorden, beide van Meta AI.
De bevindingen benadrukken een groeiende bezorgdheid dat mensen steeds vaker generatieve AI-platforms gebruiken om medisch advies te verkrijgen, maar deze platforms hebben geen licentie om medisch advies te geven en missen het klinische oordeel dat nodig is om een diagnose te stellen.
Door de explosie van AI-chatbots zijn ze een populair hulpmiddel geworden voor mensen die advies zoeken over hun ziekte. OpenAI zegt dat meer dan 200 miljoen mensen wekelijks naar ChatGPT gaan voor vragen over gezondheid en welzijn. Het platform kondigde in januari van dit jaar aan dat het afzonderlijke gezondheidsinstrumenten voor algemene gebruikers en artsen zou lanceren. In dezelfde maand kondigde Anthropic ook aan dat zijn Claude-product een nieuwe gezondheidszorgdienst zou lanceren.
De auteurs van de studie, gepubliceerd in BMJ Open, zeggen dat een aanzienlijk risico als chatbots worden ingezet zonder publieke voorlichting en regulering, is dat ze de verspreiding van desinformatie kunnen versterken.
Ze zeiden dat de bevindingen “belangrijke gedragsbeperkingen van AI benadrukken en de noodzaak suggereren om opnieuw te evalueren hoe AI-chatbots worden ingezet in publieke gezondheids- en medische communicatie.” Ze merken ook op dat deze systemen vaak ‘gezaghebbend klinkende maar potentieel gebrekkige reacties’ kunnen genereren.