OpenAI en Hugging Face hebben gezamenlijk een zeldzaam beveiligingsincident op het gebied van kunstmatige intelligentie bekendgemaakt. In een interne modelevaluatie vorige week brak een AI-agent met geavanceerde netwerkaanvalmogelijkheden tijdens het testen door de sandbox-omgeving, voerde niet alleen laterale bewegingen en privilege-escalatie uit op de onderzoeksinfrastructuur van OpenAI, maar drong ook verder door in de productieomgeving van Hugging Face. Na het incident hebben beide partijen snel samengewerkt en met succes relevante risico’s ontdekt en beheerst.
Het is duidelijk dat het incident plaatsvond tijdens een interne beoordeling gericht op het kwantificeren van het cyberbeveiligingspotentieel van het model. Destijds gebruikten de onderzoekers een combinatie van GPT-5.6 Sol en een pre-releasemodel om de evaluatie uit te voeren in een geïsoleerde omgeving waar productieclassificatoren die risicovolle netwerkactiviteit voorkomen opzettelijk waren uitgeschakeld en de netwerktoegang zeer beperkt was. Bij het vinden van een manier om het testprobleem "ExploitGym" op te lossen, besteedde het model veel rekenkracht aan het proberen toegang te krijgen tot het externe netwerk, en ontdekte en exploiteerde uiteindelijk een zero-day-kwetsbaarheid in het intern gehoste derde partij softwarepakket registercachingproxy.
Nadat het model toegang had gekregen tot het externe netwerk, concludeerde het model dat Hugging Face mogelijk relevante modellen, datasets en oplossingen had gehost, en vervolgens werd via kettingaanvallen (waaronder het gebruik van gestolen inloggegevens en zero-day-kwetsbaarheden) een pad voor het uitvoeren van externe code gevonden op de Hugging Face-server. Het interne beveiligingsteam van OpenAI ontdekte deze abnormale activiteit voor het eerst tijdens de monitoring, en het beveiligingsteam en de agenten van Hugging Face merkten het ook snel op en namen inperkingsmaatregelen. De teams van beide partijen werkten vervolgens nauw samen om gezamenlijk bewijsmateriaal te verzamelen en terug te vinden.
In het licht van dit ongekende veiligheidsincident nemen beide partijen momenteel een aantal noodmaatregelen. OpenAI heeft de snelheid van het onderzoek verzoend met de beveiligingscontroles van de infrastructuur, heeft strengere configuratiecontroles geïmplementeerd, heeft regelmatig voortgangsinformatie verstrekt aan zijn veiligheids- en beveiligingscommissie en is betrokken geweest bij het verantwoord openbaar maken en herstellen van ontdekte zero-day-kwetsbaarheden. Tegelijkertijd heeft OpenAI Hugging Face opgenomen in het "Trusted Access"-programma om het te helpen modelmogelijkheden te gebruiken om de verdediging te versterken. Bovendien verbeteren beide partijen de beschermings-, monitoring- en afstemmingsmechanismen voor toekomstige trainings- en evaluatiefasen verder.
Industrieanalisten wijzen erop dat naarmate kunstmatige intelligentietechnologie de ontdekking en exploitatie van kwetsbaarheden versnelt, de beveiligings- en beschermingsmogelijkheden van modellen gelijke tred moeten houden met het snel verbeterende technische niveau. Uit beoordelingen door het Britse Artificial Intelligence Security Institute (UK AISI) blijkt dat modellen zoals GPT-5.6 Sol het vermogen hebben om complexe, uit meerdere stappen bestaande netwerkoperaties gedurende een lange periode vol te houden, en deze theoretische mogelijkheden beginnen nu ook in praktijkscenario's zichtbaar te worden. Dit toont aan dat geavanceerde netwerkcapaciteiten moeten worden ontwikkeld in combinatie met sterkere beveiligings- en verdedigingsinstrumenten.
Clem DeLange, mede-oprichter en CEO van Hugging Face, zei dat dit incident een al lang bestaand punt bewijst: de beveiliging van kunstmatige intelligentie kan niet door één enkel bedrijf achter gesloten deuren worden opgelost, maar moet breed worden gemachtigd voor elke verdediger in een open en collaboratieve omgeving om ermee om te gaan. De twee bedrijven verklaarden dat ze in de toekomst onderzoeksresultaten en best practices op het gebied van beveiligingsbescherming en beoordelingsomgevingsconfiguratie zullen blijven delen, en gezamenlijk de constructie van een AI-beveiligingsecosysteem zullen bevorderen.