Onlangs maakte Hugging Face, 's werelds grootste AI-open source-gemeenschap, bekend dat het een AI-inbraak in een productie-infrastructuur heeft gedetecteerd en onder controle heeft gebracht, en dat zij forensische AI-analyses hebben gebruikt om zich hiertegen te verdedigen. Wat uiteindelijk hielp bij het voltooien van zijn verdediging was niet het Amerikaanse geavanceerde model achter de commerciële API, maar het Chinese open source GLM 5.2-model.

Na het incident adviseerde het bedrijf verdedigers publiekelijk om "een gecontroleerd en direct beschikbaar model te hebben dat op uw eigen infrastructuur draait voordat een aanval plaatsvindt), zowel om te voorkomen dat u wordt opgesloten door vangrails als om te voorkomen dat gegevens en inloggegevens van aanvallers uw omgeving verlaten."

Hugging Face werd “gehackt”, een pure AI-agent werd onafhankelijk aangevallen

In een schaars gedetailleerd incidentrapport op 16 juli zei Hugging Face dat de productie-infrastructuur in de week van 13 juli werd aangetast door een ‘autonoom’ AI-agentsysteem. Een onbekende aanvaller ‘misbruikte twee paden voor het uitvoeren van code in de datasetverwerkingspijplijn van Hugging Face: de externe codedataset-lader en sjablooninjectie in de datasetconfiguratie om code uit te voeren op verwerkende werkknooppunten (dat wil zeggen rekeninstanties).’


Vervolgens "verhoogden ze zich in het weekend naar toegang op knooppuntniveau, verzamelden ze cloud- en clusterreferenties en verhuisden ze in de loop van een weekend lateraal naar meerdere lokale clusters. De aanvallers gebruikten" een aantal kortstondige sandboxes en plaatsten 'zelfmigrerende' commando- en controle (C2) op openbare diensten, 'zei het bedrijf.

Ongeoorloofde toegang had invloed op een klein aantal interne datasets en servicereferenties, maar Hugging Face vond geen bewijs van geknoei met openbare modellen, datasets, Spaces of de softwaretoeleveringsketen, en de toeleveringsketen (containerafbeeldingen en gepubliceerde pakketten) werd 'gecontroleerd als schoon'.

Hugging Face vertelde klanten: "We raden aan om alle toegangstokens te roteren en de recente activiteit in uw account te bekijken." Het bedrijf zei dat het "nog steeds bezig is met het afronden van zijn beoordeling van de vraag of partner- of klantgegevens zijn beïnvloed" en dat het rechtstreeks contact zal opnemen met de getroffen klanten als er bewijs wordt gevonden.

Het unieke aan deze operatie was de autonomie en omvang ervan. De inbraak werd van begin tot eind veroorzaakt door een systeem van autonome AI-agenten die duizenden onafhankelijke operaties uitvoerden in een groot aantal kortstondige sandboxes, met behulp van een zelfmigrerende commando- en controle-infrastructuur die meeliftte op openbare diensten en dat Hugging Face ook grotendeels zijn eigen AI gebruikte voor detectie en profilering.

Het bedrijf zei in het rapport dat het raamwerk voor autonome agenten dat de aanval lanceerde, lijkt te zijn gebouwd op basis van een onderzoekstoolkit voor agentbeveiliging, en dat de gebruikte LLM nog niet duidelijk is, wat consistent is met de langetermijnvoorspelling van de industrie van een 'agent-aanvaller'-scenario.

Tegelijkertijd weerspiegelt dit incident ook een bredere trend in de sector: autonome offensieve AI-tools zijn van theorie naar praktijk gegaan, waardoor de kosten van het uitvoeren van grootschalige, geduldige aanvalscampagnes in meerdere fasen en het draaien met machine-achtige snelheden zijn verlaagd.

Onlangs maakte beveiligingsbedrijf Sysdig een zaak bekend die het ‘JADEPUFFER’ noemt, beschreven als de eerste volledig autonome AI-gestuurde ransomware-operatie, waarbij een AI-agent onafhankelijk een server die aan het internet is blootgesteld, in gevaar bracht, lateraal verplaatste, bestanden versleutelde en losgeld eiste, allemaal zonder menselijke tussenkomst.

Naar verluidt heeft het Britse National Cyber ​​Security Centre het ‘Cyber ​​Shield’-programma gelanceerd om als reactie hierop AI-gestuurde verdedigingsmechanismen in het hele land in te zetten.

Amerikaans commercieel grensmodel "staking", GLM-5.2 gaat de strijd aan om te reageren

"Toen we begonnen met loganalyse, gebruikten we eerst het geavanceerde model achter een commerciële API. Dit was niet succesvol: de analyse vereiste het indienen van een groot aantal echte aanvalsopdrachten, exploit-payloads en C2-artefacten, en deze verzoeken werden geblokkeerd door de beveiligingsrails van de provider", benadrukt Hugging Face in het rapport.

Het is duidelijk dat Hugging Face's eigen pijplijn voor anomaliedetectie gebruik maakte van veilige telemetrieclassificatie op basis van grote taalmodellen om de inbraak eerst te signaleren door signalen te correleren die anders in het dagelijkse lawaai zouden worden genegeerd. Om de volledige aanvalstijdlijn te reconstrueren op basis van meer dan 17.000 geregistreerde acties van aanvallers, voerde Hugging Face een grote taalmodelgestuurde analyseagent uit op het hele logboek, waarbij wat normaal dagen zou duren, in uren werd gecomprimeerd.

Een belangrijke bevinding van het onderzoek: Commercial Frontier Model API's weigerden forensische analyses uit te voeren omdat hun beveiligingssystemen geen onderscheid konden maken tussen incidentresponders die echte exploit-payloads en C2-artefacten indienden, en echte aanvallers. Hugging Face zei dat het vervolgens "overschakelde op het draaien van GLM 5.2, een open gewichtsmodel, op zijn eigen infrastructuur voor forensische analyse." Hugging Face voegde hieraan toe: “Dit heeft ook een secundair voordeel: geen enkele aanvaller, noch de inloggegevens waarnaar daarin wordt verwezen, verlaat onze omgeving...”

Op dit moment heeft Hugging Face niet aangegeven welk business-forward model het bij de eerste poging probeert te gebruiken voor de respons op incidenten, noch is duidelijk gemaakt welk model door de aanvallers werd gebruikt.

Maar de ervaring maakte Hugging Face bewust van een kwetsbaarheid die de moeite waard was om vooruit te plannen: "We hadden geen idee welk model de agent van de aanvaller gebruikte, het gejailbreakte gehoste model of het onbeperkte open-weight-model; in beide gevallen was de aanvaller niet gebonden aan enig gebruiksbeleid, en onze eigen forensische inspanningen werden geblokkeerd door de veiligheidswaarborgen van het gehoste model dat we oorspronkelijk probeerden."

Zij sloten het rapport af met de woorden: "De praktische les voor verdedigers is: als u over een gecontroleerd en direct beschikbaar model beschikt dat op uw eigen infrastructuur draait voordat zich een incident voordoet, voorkomt u dat u wordt opgesloten door vangrails en wordt voorkomen dat gegevens en inloggegevens van aanvallers uw omgeving verlaten. Dit is geen bezwaar tegen beveiligingsmaatregelen op beheerde modellen en we zullen deze feedback delen met relevante providers."

Vermeldenswaard is dat Hugging Face in juni van dit jaar officieel heeft aangekondigd dat het op eigen kosten tot 6 uur wereldwijde gratis rekenkrachtondersteuning zal bieden voor GLM-5.2, het vlaggenschipmodel GLM-5.2 open source.

AI-adviseur Witte Huis maakt zich zorgen: “We zullen niet langer concurrerend zijn”

"Er is geen reden om Amerikaanse modellen te beperken tot taken die Chinese modellen zonder problemen aankunnen. We zullen onszelf alleen maar minder concurrerend maken door dat te doen." Op 19 juli plaatste David Sacks, de speciale adviseur voor kunstmatige intelligentie en cryptocurrency van het Witte Huis, een bericht waarin hij kritiek uitte op de cyberbeveiligingsbeperkingen op Amerikaanse AI-modellen.


Eerder beweerden individuele ontwikkelaars publiekelijk dat Kimi K3 vijftien beveiligingsproblemen had opgelost, terwijl OpenAI's Codex en Anthropic's Claude Fable 5 beide weigerden deze kwetsbaarheden aan te pakken vanwege netwerkbeveiligingsmaatregelen. "Dit zal uiteindelijk catastrofaal zijn voor OpenAI en Anthropic", zei hij. Sacks retweette het bericht van de ontwikkelaar en vermeldde het Hugging Face-incident.

Sommige internetgebruikers merkten hierover op: "Nu zijn gebruikers die alleen grote Amerikaanse modellen gebruiken kwetsbaarder voor aanvallen omdat ze hun eigen beveiligingsproblemen niet kunnen oplossen."

Het is duidelijk dat Anthropic penetratietesten, bugpremies, de ontwikkeling van exploits, escalatie van privileges en het ontdekken van hoogwaardige kwetsbaarheden duidelijk heeft geclassificeerd als activiteiten met een hoog risico voor tweeërlei gebruik. Fable 5 is ontworpen om deze verzoeken te blokkeren totdat Anthropic een betrouwbaardere manier heeft om de toegang te beperken tot alleen goedgekeurde onderzoekers. En Anthropic heeft de kosten erkend. Wanneer het Fable 5 op 1 juli opnieuw implementeert, zei Anthropic dat de bijgewerkte classifier meer valse positieven zal produceren tijdens normaal coderen en debuggen, en dat gemarkeerde Fable-verzoeken kunnen worden doorgestuurd naar minder capabele Opus 4.8-modellen, afhankelijk van het product en de configuratie.

OpenAI past ook aanvullende geautomatiseerde controles toe op netwerkbeveiligingsverzoeken in Codex, ChatGPT en de bijbehorende API. OpenAI beveelt aan dat verdedigers wier verzoek wordt geblokkeerd de reikwijdte beperken, de nadruk leggen op herstel en exploitdetails weglaten die niet nodig zijn voor het defensieve resultaat. OpenAI biedt Codex Security ook afzonderlijk aan voor het scannen van codebasissen, exploitverificatie in sandboxes en het genereren van patches.

“Wanneer grote Amerikaanse modellen taken afwijzen die als risicovol zijn geclassificeerd, kunnen ontwikkelaars zich wenden tot Chinese open modellen.” Deze les en het signaal van de Hugging Face-aanval hebben de aandacht getrokken van informatiebeveiligingsprofessionals en technologie-investeerders. Sommige internetgebruikers zeiden boos: "Dit is een soort 'netwerkbeveiliging' die het paard achter de wagen spant: aanvallers kunnen onbeperkte modellen gebruiken, maar verdedigers (die toch al traag reageren) kunnen de aanval zelf niet analyseren."