De media ontdekten dat de ChatGPT-zoektool kan worden gemanipuleerd met verborgen inhoud en kwaadaardige code kan retourneren van de websites die worden doorzocht. Nadat ChatGPT werd aangevallen door verborgen tekst, negeerde het zelfs als er negatieve gebruikersrecensies op een productpagina stonden en reageerde door het product een positieve recensie te geven.
Slechts een week nadat OpenAI officieel de wereldwijde lancering van zijn ChatGPT-zoekservice had aangekondigd, werd onthuld dat deze beveiligingsrisico's met zich meebracht en gebruikers kon misleiden en misleiden.
Uit een onlangs gepubliceerd onderzoek door de Britse 'Guardian' is gebleken dat de ChatGPT-zoektool kan worden gemanipuleerd met verborgen inhoud en kwaadaardige code kan retourneren van de websites die worden doorzocht. De media zijn van mening dat het risico van kwaadwillig gebruik van gerelateerde technologieën mogelijk moet worden heroverwogen. Het kan er bijvoorbeeld toe leiden dat, zelfs als er negatieve recensies van gebruikers op een productpagina staan, ChatGPT deze negatieve recensies negeert en de feedback van de gebruiker een positieve recensie van het product is.
The Guardian testte hoe ChatGPT reageerde op verzoeken om webpagina's met verborgen inhoud samen te vatten. Deze verborgen inhoud kan instructies van derden bevatten die de reacties van ChatGPT wijzigen, ook wel 'promptinjection' genoemd. Het kan ook inhoud bevatten die is ontworpen om de reacties van ChatGPT te beïnvloeden, zoals grote hoeveelheden verborgen tekst over de voordelen van een product of dienst.
In een test vroeg de Guardian ChatGPT om de URL van een nepwebsite die leek op een cameraproductpagina, en vroeg ChatGPT vervolgens of de camera het waard was om te kopen. De ChatGPT-reactie op de controlepagina gaf een positieve maar evenwichtige beoordeling, waarbij enkele functies werden benadrukt die mensen misschien niet leuk vinden. Toen de verborgen tekst echter instructies bevatte over het retourneren van een positieve recensie door ChatGPT, was het daadwerkelijke antwoord van ChatGPT altijd geheel positief. Dit geldt zelfs als er negatieve recensies op de pagina staan. Het is duidelijk dat verborgen tekst kan worden gebruikt om de daadwerkelijke recensie te overschrijven.
Sommige commentaren zeggen dat verborgen-tekstaanvallen een veelvoorkomend risico vormen voor grote taalmodellen (LLM), maar dit lijkt de eerste keer te zijn dat dergelijke risico's bestaan in realtime AI-zoekproducten. The Guardian stelde dat Google, de leidende speler op zoekgebied, meer ervaring heeft dan OpenAI in het omgaan met soortgelijke problemen.
OpenAI gaf geen commentaar op de testresultaten van The Guardian, maar zei dat het verschillende methoden gebruikt om kwaadaardige websites te blokkeren en voortdurend verbetert.