Uit een experimenteel onderzoek dat onlangs is gepubliceerd door onderzoekers in Frankrijk en Italië blijkt dat te veel vertrouwen op advies van kunstmatige intelligentie (AI) het menselijk kritisch denken kan belemmeren, waardoor mensen eerder geneigd zijn om blindelings foutieve informatie van AI te accepteren wanneer ze worden geconfronteerd met onzekere problemen, in plaats van toe te geven dat ze ‘het niet weten’.
Valerio Capraro, universitair hoofddocent aan de Universiteit van Milaan-Bicocca, en zijn medewerkers voerden het onderzoek uit om te onderzoeken hoe AI-aanbevelingen de bereidheid van mensen beïnvloeden om onwetendheid toe te geven. De onderzoekers ontwierpen speciaal een reeks impopulaire film- en televisiedetailvragen die meestal moeilijk te beantwoorden zijn voor grote taalmodellen, en rekruteerden proefpersonen voor vergelijkende experimenten. In één reeks experimenten beantwoordden proefpersonen vragen zonder AI-hulp; in een andere reeks experimenten hadden proefpersonen toegang tot AI-suggesties.
Uit het onderzoek bleek dat in de uitgangsgroep zonder AI-hulp 44% van de deelnemers eerlijk kon kiezen voor ‘weet niet’ en er dus voor kon kiezen hun oordeel op te schorten; in de groep die AI-suggesties ontving, daalde dit aandeel echter tot 3%. Wat nog zorgwekkender is, is dat de tussenkomst van AI niet alleen de prestaties niet heeft verbeterd, maar ook heeft geleid tot een afname van de nauwkeurigheid: zonder AI-ondersteuning gaf 27% van de proefpersonen het juiste antwoord; maar toen de AI suggesties deed, daalde de nauwkeurigheid naar 9% omdat de deelnemers de antwoorden van de AI te veel vertrouwden.
Bovendien toonden experimentele resultaten aan dat AI-ondersteuning het zelfvertrouwen van de proefpersonen aanzienlijk verbeterde. Zonder AI was het gemiddelde vertrouwen van de proefpersonen 30%; met behulp van AI steeg het vertrouwen van de proefpersonen tot 76%, zelfs als ze met onjuiste informatie werden geconfronteerd. Onderzoekers wezen erop dat deelnemers hun oordeel over de grenzen van hun eigen kennis opgaven in het licht van AI, ook al was de informatie die ze verkregen vaak een ‘illusie’ geproduceerd door AI.
De onderzoekers testten ook of dit verbeterde als er financiële prikkels werden gegeven. Uit de resultaten bleek dat, hoewel de bereidheid om onwetendheid toe te geven enigszins herstelde van 3% naar 8%, en het nauwkeurigheidspercentage ook steeg van 9% naar 16%, deze twee indicatoren nog steeds veel lager waren dan die van de benchmarkgroep.
Capraro zei dat het toegeven van 'niet weten' een belangrijke manifestatie is van de beperkingen van het menselijk begrip van zelfkennis, en het verlies van dit vermogen is een probleem dat dringend op sociaal niveau moet worden opgelost. Hij benadrukte dat interventie in dit fenomeen niet uitsluitend afhankelijk mag zijn van modelaanbieders, aangezien hun commerciële prikkels niet noodzakelijkerwijs in lijn zijn met het bevorderen van kritisch denken. Hij is van mening dat het een idealer pad is om hiermee om te gaan via onderwijsbeleid en AI-geletterdheidsonderwijs, vooral voor de volgende generatie die met deze systemen opgroeit en mogelijk niet in staat is om kritische basisvaardigheden te leren. Deze kwestie verdient bijzondere aandacht.