Eerder dit jaar ging Google AI-chef Jeff Dean naar een podcast om een ​​concept te bespreken waar bijna niemand buiten technische kringen destijds over sprak: distillatie. Toen Dean de ontwikkeling van de AI-modellen van Google besprak, zei Dean dat hij en zijn collega's de AI-destillatietechnologie ontdekten omdat Google de systeemprestaties wilde verbeteren zonder afhankelijk te zijn van één enkel groot beeldherkenningsmodel.

“Met destillatie – de belangrijkste technologie om kleinere modellen capabeler te maken – moet je over het meest geavanceerde model beschikken voordat je het in je kleinere model kunt distilleren”, zei Dean in februari.

Vijf maanden later is distillatie plotseling een hot topic van Silicon Valley tot Washington, waar tech-insiders en wetgevers debatteren over de vraag of de praktijk een bedreiging voor de nationale veiligheid wordt.

Op een hoog niveau verwijst distillatie naar het gebruik van de antwoorden van een chatbot of de output van een geavanceerd AI-model om een ​​ander model te trainen. Deze aanpak is controversieel omdat modelontwikkelaars, afhankelijk van de manier waarop deze wordt gebruikt, concurrerende producten kunnen creëren door simpelweg gebruik te maken van de output van bedrijven die miljoenen of miljarden dollars hebben geïnvesteerd in de ontwikkeling van de modernste trainingstechnologie.

"Het is bijna alsof iemand naar de lezing is gegaan, het leerboek heeft gelezen en al het zware huiswerk heeft gemaakt", zegt Pukhar Hammar, oprichter van AI-beveiligingsbedrijf SecurityPal. "Toen zei een andere student: 'Hé, dat heb ik niet gedaan. Mag ik jouw werk gewoon kopiëren?'"

Of het nu vanwege de post van Kratsios is of anderszins, een aantal van ‘s werelds grootste technologiegiganten kwamen vrijdag samen in een ongekende stap om een ​​duidelijk standpunt in te nemen. Na een week van een reeks berichten op sociale media hebben technologiegiganten Nvidia, Microsoft, Meta en Palantir samen met meer dan twintig andere bedrijven een gezamenlijke brief uitgegeven waarin zij beleidsmakers aansporen om geen ‘voortijdige beperkingen’ op te leggen aan open-gewogen AI-modellen die ‘de concurrentie zouden kunnen verstikken of innovatie naar het buitenland zouden kunnen duwen’.

"Destillatie, de praktijk waarbij de output van één model wordt gebruikt om een ​​ander model te helpen trainen of verbeteren, is een veelgebruikte techniek voor modelverbetering, evolutie en validatie", schrijven ze.

De opkomst van destillatie vormt een probleem voor Amerikaanse beleidsmakers.

Box-CEO Aaron Levy was een van de ondertekenaars van de brief van vrijdag. Levy zei in een interview dat Amerikaanse bedrijven, om concurrerend te kunnen blijven, toegang moeten hebben tot de beste technologie, ongeacht waar deze wordt ontwikkeld.

“De algemene trend zal zijn dat hoe meer innovatie er is – of deze nu uit de VS of elders komt – hoe meer AI-vooruitgang je mag verwachten, en in het algemeen in de richting van lagere kosten en meer efficiëntie in de loop van de tijd”, aldus Levy.

Shashi Bellamkunda, onderzoeksdirecteur bij Info-Tech Research Group, zei dat hoewel een groot deel van de huidige discussie gericht is op AI-modellen met een open gewicht, veel bedrijven ook destillatietechnieken integreren bij het maken van hun eigen modellen. Nvidia gebruikt bijvoorbeeld distillatie in het trainingsproces van zijn modellen uit de Llama Nemotron-serie, wat in detail wordt beschreven in gerelateerde onderzoekspapers.

"Dit is een legitieme en zeer waardevolle techniek voor het trainen van kleinere, goedkopere modellen op basis van de output van grotere modellen, en wordt nog steeds veel gebruikt", aldus Bellamkunda.

Anthropic heeft echter een andere mening, omdat het bedrijf ziet hoe zijn model wordt gebruikt en een bloeiende onderneming moet beschermen.

Anthropic wordt gewaardeerd op bijna $1 biljoen en is van plan in de nabije toekomst naar de beurs te gaan. Het bedrijf zegt dat het stoppen van illegale distillatie een kwestie van nationale veiligheid is.

“Antropische en andere Amerikaanse bedrijven bouwen systemen om te voorkomen dat staats- en niet-statelijke actoren AI exploiteren, bijvoorbeeld om biologische wapens te ontwikkelen of kwaadaardige cyberactiviteiten uit te voeren”, aldus het bedrijf in een bericht van februari. En om dit te stoppen zal “snelle, gecoördineerde actie tussen spelers uit de industrie, beleidsmakers en de mondiale AI-gemeenschap” nodig zijn.

OpenAI en Anthropic verbieden distillatie in hun servicevoorwaarden. Bellamkunda zei dat ze in wezen suggereerden dat het ongeoorloofde gebruik van hun grote modellen potentiële diefstal van intellectueel eigendom vertegenwoordigde.

Maar naarmate de kosten van AI de pan uit rijzen, zullen bedrijven er alles aan doen om efficiënter te worden.

Hammar zei dat hij er niet tegen is om een ​​open-weight-model te gebruiken bij SecurityPal, een bedrijf dat AI gebruikt om veiligheidsbeoordelingen te automatiseren. Hij zei dat het hen veel geld zou kunnen besparen.

"We zorgen ervoor dat er geen kwaadaardige achterdeurtjes in de code zitten", zei Hammar. "Maar waarom zouden we het, nadat we de beoordeling hebben gedaan, niet op onze eigen infrastructuur hosten?"

Een groot probleem waarmee Anthropic en OpenAI worden geconfronteerd wanneer ze proberen diefstal van intellectueel eigendom tegen te gaan, is dat beide bedrijven voor het bouwen van hun modellen afhankelijk zijn van inhoud uit andere bronnen, en daarvoor zijn aangeklaagd.

Max Pritt, advocaat bij Boies Schiller Flexner, vertegenwoordigt boekauteurs in auteursrechtzaken tegen AI-bedrijven. Hij zei dat de regering in dezelfde positie verkeerde.

“Deze regering heeft haar inspanningen in ieder geval publiekelijk gericht op de bescherming van het intellectuele eigendom van technologiebedrijven en heeft zich grotendeels gezwegen over het ongeoorloofde gebruik van het intellectuele eigendom van makers en individuen”, aldus Pritt.