Volgens de MIT Technology Review plant het Amerikaanse ministerie van Defensie een grote verandering: het bouwen van een zeer vertrouwelijke trainingsomgeving voor generatieve kunstmatige intelligentiebedrijven, zodat ze militaire versies van grote modellen kunnen trainen op basis van geheime militaire inlichtingengegevens. Dit betekent dat modellen die oorspronkelijk alleen maar 'lezen' en 'vragen beantwoordden' in een vertrouwelijke omgeving, vertrouwelijke gegevens in de toekomst rechtstreeks kunnen gebruiken als trainingsmateriaal, waardoor gevoelige informatie in het model zelf wordt 'geschreven'.
Er worden al enkele generatieve AI-modellen, zoals Claude van Anthropic, ingezet in geheime omgevingen om vragen te beantwoorden en analyses te ondersteunen, ook over Iraanse doelen. Deze modellen verwerken momenteel echter alleen vertrouwelijke informatie op basis van bestaande mogelijkheden, en zullen de gegevens niet hergebruiken om de modellen zelf te trainen en bij te werken. Als het model mag worden getraind op geheime gegevens, zal het naar verwachting nauwkeuriger en efficiënter zijn bij het uitvoeren van specifieke militaire taken, maar het zal ook ongekende veiligheidsrisico's met zich meebrengen.
Een niet nader genoemde Amerikaanse defensiefunctionaris zei dat het trainen van het aangepaste model van het leger op basis van geheime gegevens naar verwachting de prestaties en betrouwbaarheid bij specifieke missies aanzienlijk zal verbeteren. Het plan komt te midden van de groeiende vraag naar krachtigere AI-modellen in het Amerikaanse leger: het Pentagon heeft overeenkomsten bereikt met OpenAI en Musk's xAI om zijn modellen in een geheime omgeving te laten draaien, en streeft een nieuwe kunstmatige-intelligentiestrategie na die erop gericht is het Amerikaanse leger te veranderen in een "AI-first gevechtsmacht" als reactie op het escalerende conflict met Iran. Op het moment van schrijven heeft het Pentagon nog geen officieel commentaar gegeven op dit trainingsplan.
Volgens twee mensen die bekend zijn met de relevante werkwijzen zal bovenstaande training plaatsvinden in een datacenter dat gecertificeerd is voor geheime projecten, waar een bepaalde versie van het AI-model gecombineerd zal worden met geclassificeerde data in dezelfde beveiligde omgeving. Volgens de defensiefunctionaris kunnen werknemers van AI-bedrijven, hoewel het eigendom van de gegevens bij het Amerikaanse ministerie van Defensie blijft, in zeldzame gevallen ook toegang krijgen tot de vertrouwelijke gegevens als het relevante personeel over de juiste veiligheidsmachtiging beschikt. Voordat het daadwerkelijk ingaat op geheime gegevens, is het Pentagon van plan deze eerst te testen op niet-geclassificeerde gegevens, zoals commerciële satellietbeelden, om de daadwerkelijke verbeteringen in nauwkeurigheid en effectiviteit van het getrainde model te beoordelen.
Het Amerikaanse leger maakt al lang gebruik van een oudere generatie computer vision-modellen om objectherkenning uit te voeren op afbeeldingen en video’s verzameld door drones en verkenningsvliegtuigen, en heeft bedrijven via overheidscontracten opdracht gegeven om algoritmen op dergelijke gegevens te trainen. De afgelopen jaren zijn er ook achter elkaar speciale grote taalmodellen en chatbotversies voor overheidsscenario’s verschenen, zoals Claude Gov gelanceerd door Anthropic, dat de nadruk legt op meertalige mogelijkheden en inzet in een veilige omgeving. Deze verklaring van defensiefunctionarissen is echter de eerste keer dat duidelijk wordt onthuld dat bedrijven als OpenAI en xAI die grootschalige taalmodellen ontwikkelen, door de overheid aangepaste modellen direct kunnen trainen op basis van vertrouwelijke gegevens.
Aalok Mehta, voormalig hoofd AI-beleid bij Google en OpenAI en nu directeur van het Wadhwani AI Center van het Center for Strategic and International Studies (CSIS), wees erop dat, vergeleken met alleen maar ‘lezen en antwoorden’ in een vertrouwelijke omgeving, het daadwerkelijk gebruiken van vertrouwelijke gegevens om modellen te trainen nieuwe risico’s met zich meebrengt. Hij is van mening dat het grootste probleem is dat de vertrouwelijke informatie die door modeltraining wordt geabsorbeerd, 'opnieuw naar boven kan komen' wanneer deze in de toekomst door verschillende gebruikers wordt opgevraagd of opgeroepen. Dit is met name gevaarlijk wanneer een reeks modellen wordt gedeeld over meerdere diensten of diensten met verschillende beveiligingsniveaus en verschillende inlichtingenbehoeften.
Mehta zei bijvoorbeeld dat als een model toegang zou hebben tot zeer gevoelige menselijke intelligentie, zoals de identiteit van een geheime agent, die informatie per ongeluk zou kunnen ‘lekken’ naar een andere tak van het leger wanneer het model werd gebruikt door een andere tak van het leger die geen toegang had. Niet alleen zou dit een risico van leven of dood opleveren voor inlichtingenbronnen en frontlijnpersoneel, het zou ook technisch moeilijk zijn om dit absoluut te voorkomen, vooral wanneer hetzelfde model door meerdere eenheden wordt gedeeld. Hij is daarentegen van mening dat het relatief eenvoudiger is om vertrouwelijke informatie binnen het leger te ‘vergrendelen’ en te voorkomen dat deze terugvloeit naar het open internet of naar AI-bedrijven.
Op dit moment heeft de Amerikaanse overheid een aantal relevante infrastructuur opgezet: het beveiligingsbedrijf Palantir heeft bijvoorbeeld meerdere grootschalige contracten ontvangen om een beveiligingssysteem voor de overheid te bouwen dat vragen en antwoorden over vertrouwelijke onderwerpen kan beantwoorden zonder de informatie terug te geven aan AI-bedrijven. In deze systemen kunnen ambtenaren modellen over geheime inhoud in twijfel trekken, terwijl de gegevens beperkt blijven tot een gecontroleerde omgeving. Het toepassen van dezelfde beveiligingsarchitectuur op training, en niet alleen op gevolgtrekkingen en het beantwoorden van vragen, blijft echter een nieuwe technische en managementuitdaging.
In januari van dit jaar bracht minister van Defensie Pete Hegseth een memo uit waarin hij aandrong op de versnelling van de introductie van meer AI-capaciteiten in het hele defensiesysteem, waarmee de race-indeling van het Pentagon op dit gebied werd gepromoot. Generatieve AI is gebruikt in daadwerkelijke gevechten, zoals het rangschikken van potentiële doelwitten en het geven van prioriteitssuggesties voor aanvallen. Het wordt ook gebruikt bij administratief werk, zoals het schrijven van contracten en het organiseren van rapporten. Vanuit het perspectief van de defensiesector zullen veel taken die oorspronkelijk door menselijke analisten werden uitgevoerd in de toekomst mogelijk afhankelijk zijn van sterkere AI-modellen, maar dit betekent ook dat grote hoeveelheden vertrouwelijke gegevens voor de modellen moeten worden opengesteld.
Mehta zei dat het leger misschien wil dat AI enkele subtiele oordelen leert die sterk afhankelijk zijn van ervaring, zoals het identificeren van uiterst subtiele aanwijzingen in beelden zoals een senior analist, of het leggen van complexe verbanden tussen nieuw verworven inlichtingen en historische informatie. Met het oog hierop kunnen de enorme en meertalige tekst-, audio-, beeld- en videogegevens van de inlichtingendiensten bronnen van trainingsmateriaal worden. Hij benadrukte echter ook dat het moeilijk is om aan de buitenwereld uit te leggen welke specifieke taken training op het gebied van vertrouwelijke gegevens vereisen, omdat het ministerie van Defensie een sterke prikkel heeft om zijn specifieke capaciteiten geheim te houden en niet wil dat andere landen de technologische grenzen van de Verenigde Staten op dit gebied nauwkeurig begrijpen.
In de ogen van de buitenwereld is de stap van het Pentagon niet alleen een reactie op de behoeften in de frontlinie, maar ook een technologische weddenschap met een hoog risico: zodra vertrouwelijke inlichtingen diep zijn ingebed in grote modellen, zal het leger geautomatiseerde analyse- en besluitvormingsondersteuning krijgen die de capaciteiten van traditionele systemen ver te boven gaan. Het zal echter ook te maken krijgen met nieuwe veiligheidsrisico's, zoals overmatig modelgeheugen, onbedoelde lekken en vage toegangsgrenzen. Momenteel proberen Amerikaanse defensieagentschappen een evenwicht te vinden tussen ‘militair voordeel behalen’ en ‘het beheersen van veiligheidsrisico’s’, dat in de praktijk nog niet volledig is getest, door het opzetten van sterk geïsoleerde, beveiligde datacentra, strikte toegangscontrole en gelaagde en op maat gemaakte modelimplementatiemethoden.