Volgens nieuws van 12 december heeft xAI, een kunstmatige intelligentie-startup van Elon Musk, CEO van Tesla en SpaceX, onlangs zijn chatrobot Grok uitgebracht, maar er lijkt iets mis te zijn gegaan. Vrijdag plaatste beveiligingstester Jax Winterbourne een screenshot op het sociale mediaplatform
Dit wekte de nieuwsgierigheid van mensen omdat Grok niet door OpenAI is ontwikkeld en de twee partijen nog steeds concurrenten zijn.
Wat nog interessanter is, is dat de mensen van xAI niet ontkenden dat dit gedrag in hun AI-modellen voorkwam. Igor Babuschkin schreef in zijn antwoord: "Het probleem is dat toen we Grok aan het trainen waren, het netwerk vol stond met ChatGPT-uitvoer, en we gebruikten er per ongeluk een aantal. We waren ook erg verrast toen we dit probleem voor het eerst opmerkten. Hoe dan ook, dit probleem is zeer zeldzaam, en nu we ons ervan bewust zijn, zullen we ervoor zorgen dat toekomstige versies van Grok dit probleem niet hebben. Maak je geen zorgen, er is geen OpenAI-code gebruikt om Grok te ontwikkelen."
In antwoord op Babushkin schreef Winterbourne: "Bedankt voor je antwoord. Ik zal zeggen dat deze situatie niet ongebruikelijk is en vaak voorkomt als het gaat om het maken van code. Toch laat ik het over aan degenen die gespecialiseerd zijn in grote taalmodellen en kunstmatige intelligentie om dit verder te bespreken. Ik ben tenslotte maar een leek."
Voor veel deskundigen leek de verklaring van Babushkin echter niet overtuigend. Grote taalmodellen spuwen hun trainingsgegevens doorgaans niet woordelijk uit, en het zou begrijpelijk zijn als Grok toevallig het beleid van OpenAI online vermeldde. Als u weigert te reageren op basis van het OpenAI-beleid, kan een gespecialiseerde training nodig zijn. De meest waarschijnlijke reden hiervoor is dat Grok de uitvoergegevens van het OpenAI-grote taalmodel heeft verfijnd.
AI-onderzoeker Simon Willison zei in een interview: "Ik ben hier een beetje sceptisch over. Gedraagt Grok zich zo alleen maar omdat het internet wordt overspoeld met door ChatGPT gegenereerde inhoud? Ik heb veel open-weight-modellen op HuggingFace gezien die hetzelfde gedrag vertonen, alsof ze ook hetzelfde zijn als ChatGPT. Dit komt omdat deze modellen zijn verfijnd op datasets die zijn gegenereerd met OpenAIAPI, of op datasets die zijn gegenereerd door ChatGPT zelf. Ik denk dat dit waarschijnlijker is. dat Grok is afgestemd op de dataset met ChatGPT-uitvoer, in plaats van een ongeluk op basis van netwerkgegevens.
Naarmate de grote taalmodellen van OpenAI steeds krachtiger worden, is het voor sommige kunstmatige-intelligentieprojecten (vooral open source-projecten) steeds gebruikelijker geworden om synthetische gegevens te gebruiken die zijn gegenereerd door andere grote taalmodellen om de output van hun eigen kunstmatige-intelligentiemodellen te verfijnen. Het verfijnen van het gedrag van een AI-model kan specifieke doeleinden dienen, zoals het verbeteren van de codeermogelijkheden na een eerste training. In maart van dit jaar veroorzaakte een groep onderzoekers van Stanford University opschudding toen ze de output van OpenAI's GPT-3-model (genaamd Text-DaVinci-003) gebruikten om het volgen van instructies te verfijnen.
Online kunnen we gemakkelijk verschillende open source datasets vinden die onderzoekers hebben verzameld uit ChatGPT-uitvoer. Dus xAI heeft Grok mogelijk verfijnd met behulp van een van de datasets om een aantal specifieke doelen te bereiken. Deze praktijk is zo gebruikelijk dat er zelfs een artikel staat met de titel "Hoe ChatGPT te gebruiken om een dataset te maken" op de encyclopedie-achtige levensgidswebsite WikiHow.
Dit is een manier om in de toekomst kunstmatige-intelligentiehulpmiddelen te gebruiken om complexere kunstmatige-intelligentiehulpmiddelen te bouwen, net zoals mensen microcomputers gingen gebruiken om microprocessors te ontwerpen die complexer waren dan papieren en potloodtekeningen. Mogelijk kan xAI dit in de toekomst echter voorkomen door de trainingsgegevens zorgvuldiger te filteren.
Hoewel het lenen van werk van anderen gebruikelijk is in de machine learning-gemeenschap (hoewel dit meestal in strijd is met de servicevoorwaarden), heeft dit incident de concurrentie tussen OpenAI en xAI geïntensiveerd, die zelfs teruggaat tot Musk's eerdere kritiek op OpenAI. Terwijl het nieuws zich verspreidde dat Grok OpenAI-modelgegevens zou kunnen lenen, plaatste het officiële ChatGPT-account zelfs een bericht waarin xAI belachelijk werd gemaakt, waarin stond: “We hebben veel gemeen” en het bericht van Winterbourne werd geciteerd. Musk schoot terug: "Je verzamelt alle trainingsgegevens van dit platform, dat moet je weten!"