In een federale rechtszaak tegen OpenAI in de Verenigde Staten gaf Elon Musk in zijn getuigenis toe dat het kunstmatige-intelligentiebedrijf xAI dat hij had opgericht het model van OpenAI had gebruikt om zijn chatbot Grok te trainen met behulp van zogenaamde ‘destillatie’-technologie, waardoor deze stilzwijgende praktijk in de industrie opnieuw in de schijnwerpers werd gezet.
Onlangs hebben OpenAI en Anthropic derde partijen bekritiseerd voor het trainen van het gedrag van nieuwe modellen door intensief onderzoek te doen naar publiek toegankelijke chatbots en API's, een proces dat in de branche bekend staat als 'destillatie'. De afgelopen maanden heeft de aandacht van de publieke opinie zich geconcentreerd op enkele Chinese bedrijven. Ze zijn beschuldigd van het creëren van open source-wegingsmodellen door middel van distillatie. De mogelijkheden van deze modellen liggen dicht bij die van geavanceerde Amerikaanse producten, maar ze kunnen tegen lagere kosten aan de buitenwereld worden geleverd. Binnen de technologiekring zijn veel praktijkmensen er echter al lang van overtuigd dat geavanceerde laboratoria in de Verenigde Staten soortgelijke methoden zullen gebruiken om te voorkomen dat ze achterop raken in de concurrentie.
Deze speculatie is nu in ten minste één geval bevestigd. Gevraagd tijdens de getuigenis van donderdag voor de federale rechtbank in Californië of xAI destillatietechnologie gebruikte om Grok te trainen op basis van OpenAI-modellen, zei Musk dat dit een “algemene praktijk onder AI-bedrijven” was. Op de vraag van de andere partij of dit als “ja” begrepen kon worden, was zijn antwoord “gedeeltelijk ja”.
Musk klaagt momenteel OpenAI aan, evenals de CEO van het bedrijf Sam Altman en mede-oprichter Greg Brockman, omdat ze beweren dat ze de oorspronkelijke non-profitmissie van OpenAI hebben geschonden door deze om te vormen van een non-profitorganisatie naar een organisatie met winstoogmerk. Het proces begint deze week, waarbij de getuigenis van Musk een van de centrale drama's wordt.
De bekentenis van Musk is veelbetekenend omdat destillatietechnologie wordt gezien als een bedreiging voor de kernvoordelen van grote AI-bedrijven: deze bedrijven investeren enorme sommen geld in het bouwen van computerinfrastructuur in een poging om door schaalbarrières heen voorop te blijven, terwijl destillatie andere softwareontwikkelaars in staat kan stellen modellen te trainen die ‘niet ver weg’ zijn wat betreft mogelijkheden tegen veel lagere kosten dan de oorspronkelijke kosten. Tegen deze achtergrond is er geen gebrek aan ironie in de industrie - om voldoende trainingsgegevens te verkrijgen hebben Frontier Labs zelf herhaaldelijk de grenzen van het auteursrecht op de proef gesteld en werden ze er zelfs van beschuldigd "over de grens te stappen", maar nu moeten ze anderen ervan weerhouden compliance-interfaces te gebruiken om hun modellen "weg te leren".
Afgaande op de tijdlijn werd xAI in 2023 opgericht, enkele jaren later dan OpenAI, dus het is niet verrassend dat het destijds probeerde te ‘leren’ van de marktleider. Het is onduidelijk of distillatie een duidelijke overtreding van de wet is. Meer realistische beperkingen kunnen voortkomen uit de servicevoorwaarden die door elk bedrijf zijn vastgesteld voor het gebruik van producten - distillatie wordt vaak gezien als een schending van deze voorwaarden en heeft niet noodzakelijkerwijs betrekking op de wettelijke wetgeving zelf.
Geconfronteerd met zorgen over "plagiaat" uit China, hebben OpenAI, Anthropic en Google een gezamenlijke actie gelanceerd via het "Frontier Model Forum" om te proberen informatie te delen en gezamenlijk te reageren op destillatiepogingen. Volgens rapporten zijn deze distillaties van grote modellen vaak afhankelijk van systematische, grootschalige geautomatiseerde ondervragingen om de ‘interne gedragspatronen’ van het model af te leiden. Om dergelijk gedrag tegen te gaan, probeert Frontier Labs vermoedelijke batch- en abnormale verzoeken te identificeren en te blokkeren om te voorkomen dat het model 'van zijn essentie wordt ontdaan'. Op het moment van schrijven had OpenAI nog niet gereageerd op een verzoek om commentaar op de getuigenis van Musk.
Later in het proces werd Musk gevraagd naar een spraakmakende uitspraak die hij afgelopen zomer deed: dat xAI binnenkort alle bedrijven behalve Google zou overtreffen in termen van mogelijkheden. Hij voerde voor de rechtbank een subjectieve ranglijst uit van 's werelds grootste AI-aanbieders en zei dat Anthropic momenteel op de eerste plaats staat, gevolgd door OpenAI en Google, terwijl de open source-modellen van China op de tweede plaats staan. Ter vergelijking: hij beschreef xAI als een veel kleiner bedrijf, met momenteel slechts een paar honderd medewerkers.