Volgens een nieuwe studie van de Universiteit van East Anglia (UEA) vertoont het kunstmatige-intelligentieplatform ChatGPT duidelijke systemische linkse tendensen. Een team van Britse en Braziliaanse onderzoekers heeft een rigoureuze nieuwe methode ontwikkeld om politieke vooroordelen te onderzoeken. De onderzoeksresultaten, gepubliceerd in een recent nummer van het tijdschrift Public Choice, laten zien dat de antwoorden van ChatGPT gunstig zijn voor de Amerikaanse Democratische Partij, de Britse Labour Party en de voorzitter van de Braziliaanse Arbeiderspartij, Lula da Silva.


Eerdere zorgen en het belang van neutraliteit

Er zijn al eerder zorgen geuit over de inherente politieke vooringenomenheid in ChatGPT, maar dit is het eerste grootschalige onderzoek waarin een consistente, op bewijs gebaseerde analysebenadering wordt gebruikt.

Hoofdauteur Dr. Fabio Motoki, van de Norwich Business School van de Universiteit van East Anglia, zei: "Aangezien het publiek steeds meer AI-gestuurde systemen gebruikt om feiten te ontdekken en nieuwe inhoud te creëren, is het belangrijk dat de output van populaire platforms zoals ChatGPT zo onbevooroordeeld mogelijk is. De aanwezigheid van politieke vooringenomenheid kan de mening van gebruikers beïnvloeden en potentiële gevolgen hebben voor politieke en electorale processen. Onze bevindingen dragen bij aan de bezorgdheid dat AI-systemen de bestaande uitdagingen van internet en sociale media kunnen repliceren of zelfs versterken."

Gebruikte methode

Onderzoekers hebben een innovatieve nieuwe methode ontwikkeld om de politieke neutraliteit van ChatGPT te testen. Onderzoekers vroegen gebruikers op het platform zich voor te doen als individuen uit het hele politieke spectrum, terwijl ze een reeks van meer dan zestig ideologische vragen beantwoordden. Deze antwoorden werden vervolgens vergeleken met de standaardantwoorden van het platform op dezelfde reeks vragen, waardoor onderzoekers konden meten hoe nauw de antwoorden van ChatGPT verband hielden met specifieke politieke standpunten.

Om de moeilijkheden te overwinnen die voortvloeien uit de willekeur die inherent is aan de ‘grote taalmodellen’ die kunstmatige intelligentieplatforms zoals ChatGPT aandrijven, werd elke vraag 100 keer gesteld en werden gevarieerde antwoorden verzameld. Deze meerdere antwoorden werden vervolgens onderworpen aan 1000 iteraties van 'bootstrapping' (een methode om de originele gegevens opnieuw te bemonsteren) om de betrouwbaarheid van de gevolgtrekkingen uit de gegenereerde tekst verder te verbeteren.

Co-auteur Victor Rodrigues zei: "We hebben dit programma gemaakt omdat slechts één testronde niet genoeg was. Vanwege de stochastische aard van het model verschoven de antwoorden van ChatGPT soms naar de rechterkant van het politieke spectrum, zelfs als we ons voordeden als Democraat."

Om ervoor te zorgen dat de methode zo rigoureus mogelijk was, hebben we ook een reeks verdere tests uitgevoerd. In een ‘dosis-responstest’ werd ChatGPT gevraagd radicale politieke standpunten na te bootsen. In de ‘placebotest’ werden politiek neutrale vragen gesteld. In de ‘Professioneel-politieke congruentietest’ wordt gevraagd om verschillende soorten professionals te imiteren.

doel en betekenis

"We hopen dat onze aanpak zal helpen bij de herziening en regulering van deze snel evoluerende technologieën", aldus co-auteur Dr. Pinho-Netto. “Door vooroordelen in LLM op te sporen en te corrigeren, streven we ernaar de transparantie, verantwoordelijkheid en het publieke vertrouwen in deze technologie te vergroten”, voegde hij eraan toe. "

Dr. Motoki zei dat de unieke nieuwe analytische hulpmiddelen die door het project worden gecreëerd, gratis zullen zijn voor openbaar gebruik en relatief eenvoudig zullen zijn, waardoor 'het toezicht wordt gedemocratiseerd'. Naast het controleren op politieke vooroordelen, kan de tool ook worden gebruikt om andere soorten vooroordelen in ChatGPT-reacties te meten.

potentiële bronnen van bias

Hoewel het onderzoeksproject niet heeft geprobeerd de oorzaken van politieke vooringenomenheid te identificeren, wijzen de bevindingen wel op twee mogelijke bronnen.

De eerste is de trainingsdataset. Er kan sprake zijn van vooringenomenheid, of van vooroordelen die door mensen zijn toegevoegd en die de "opschoon"-procedures van de ontwikkelaar niet hebben kunnen verwijderen. Een tweede potentiële bron is het algoritme zelf, dat de vooroordelen die al aanwezig zijn in de trainingsgegevens kan versterken.