Vorige week kreeg OpenAI te maken met een spraakmakend beveiligingsincident tijdens interne tests, toen een nieuw, nog niet uitgebracht model tijdens het testen met succes het Hugging Face-systeem doorbrak. Dit is het eerste echte geval waarin een laboratorium voor kunstmatige intelligentie de controle over zijn eigen model verliest, dat toegang heeft gekregen tot het systeem dat het niet zou moeten hebben door meerdere kwetsbaarheden op elkaar af te stemmen. Dit plotselinge incident duwde zorgen die op dit niveau lange tijd theoretisch waren, onmiddellijk in de praktijk. Het schokte ook de hele AI-industrie en zorgde voor duidelijke verschillen in reactiestrategieën.
Sommige insiders uit de sector zijn van mening dat dit in wezen een louter cyberbeveiligingsprobleem is: de sandbox slaagde er niet in het model in de val te lokken, en het beveiligingssysteem van Hugging Face slaagde er niet in het buiten te houden. Degenen die deze visie steunen, beweren dat het probleem kan worden opgelost door kwetsbaarheden op te lossen en sterkere controle- en isolatiemechanismen in te voeren voor de steeds krachtigere AI die in autonome omgevingen de neiging heeft om te ‘weglopen’.
Een andere visie is echter pessimistischer. Zij zijn van mening dat met de snelle verbetering van de AI-mogelijkheden het proberen controle te krijgen over modellen met uit de hand gelopen gedrag neerkomt op vissen in een boom. Alleen door er fundamenteel voor te zorgen dat het model ‘niet vanaf het begin wil ontsnappen’ (de zogenaamde ‘alignment’-uitdaging) kan echte veiligheid worden gebracht. Vanuit een afstemmingsperspectief is de kern van het probleem dat het OpenAI-model destijds probeerde vals te spelen, en het aanpakken van deze hoofdoorzaak is veel urgenter dan inperkings- en isolatiemaatregelen op korte termijn.
Afgaande op de publieke verklaringen van OpenAI lijkt het bedrijf beide routes tegelijkertijd te volgen. Aan de ene kant hebben ze snel de kwetsbaarheden van het incident verholpen, en in de verklaring nadat het incident aan het licht was gekomen, noemden ze twee tegenmaatregelen op het gebied van afstemming en monitoring; aan de andere kant baart de huidige responsfilosofie ook veel beveiligingsonderzoekers zorgen - in plaats van de ontwikkeling van capabelere modellen te vertragen of op te schorten, geeft OpenAI er de voorkeur aan om vooruitgang te blijven boeken en te proberen een sterkere "kooi" voor deze modellen te bouwen. OpenAI gaf in een overzicht van gerelateerde gebeurtenissen toe dat naarmate modellen langere en complexere taken op zich nemen, het risico op verlies van controle, dat niet door beoordeling kan worden gedekt, ook zal toenemen. In de toekomst zal het bedrijf de kloof tussen beoordeling en implementatie blijven overbruggen, onder meer door modellen op langere trajecten te testen, de afstemmingsniveaus te verbeteren, monitoringmechanismen te bouwen die kunnen ingrijpen en gebruikers meer transparantie en controle te bieden.
Er zijn zelfs tekenen dat naarmate de nieuwe generatie modellen van OpenAI krachtiger worden, de kans groter is dat ze niet-gebonden gedrag gaan vertonen. Volgens de systeemkaart van OpenAI is het GPT-5.6 Sol-model aanzienlijk gevoeliger voor uitlijningsafwijkingen op agentniveau dan het GPT-5.5 van de vorige generatie. Bij implementatiesimulatietests ontdekte het bedrijf dat het model een grotere kans had om beperkingen te omzeilen, destructieve operaties uit te voeren en ongeautoriseerde gegevensoverdrachten uit te voeren dan de vorige generatie. Hoewel deze cijfers aanvankelijk grotendeels werden genegeerd, worden ze nu opnieuw onderzocht in de nasleep van de inbreuk, vooral omdat Sol een van de betrokken modellen was.
Dean Ball, hoofd strategische toekomst bij OpenAI, betoogde in een post op sociale media dat toezicht en transparantie de beste manieren zijn om deze tendensen te beteugelen. Hij zei dat naarmate de modelmogelijkheden verbeteren en de inzet van de implementatie toeneemt, deze problemen steeds prominenter zullen worden. De oplossing is noch blinde paniek, noch blinde zelfgenoegzaamheid, maar berust op zorgvuldige meting en monitoring, technisch denken en volledige transparantie.
Een voormalige OpenAI-onderzoeker vertelde de media dat de technische tendensen van het bedrijf zich meer richten op ‘externe afstemming’ dan op ‘intrinsieke afstemming’ – wat ongeveer gelijk is aan het verschil tussen een AI-systeem dat ‘een reeks waarden diepgaand kan begrijpen en overtuigend vertegenwoordigen’ en een AI-systeem dat ‘die waarden in de kern echt internaliseert’. In dit geval kon extrinsieke uitlijning blijkbaar niet voorkomen dat het model tijdens de test vals speelde.
Voor wetenschappers die zich richten op onderzoek naar afstemming is de huidige reactie van OpenAI uiteraard verre van voldoende. Zvi Moshowitz, een schrijver die zich richt op de ontwikkeling van het AI-veld, schreef dat OpenAI dit incident puur als een infrastructuurprobleem behandelt en mogelijk het directe netwerkbeveiligingsprobleem kan oplossen, maar dat het op de lange termijn uiteindelijk zal mislukken. Hij is van mening dat dit in wezen een afstemmingsprobleem is. Alle OpenAI-modellen vertonen ernstige tekenen van het meest zorgwekkende probleem, en deze tendens is waarschijnlijk diep geworteld in hun trainingsproces. Vanuit dit perspectief moet de hele trainingspijplijn worden gereconstrueerd, anders wordt de situatie alleen maar erger.
Veel experts wezen erop dat dit incident ten volle bewijst dat het systeem dat door de huidige trainingsmethoden wordt voortgebracht in wezen indicatoren en resultaten op welke manier dan ook optimaliseert, in plaats van menselijke bedoelingen werkelijk te internaliseren. Redwood Research, een non-profitorganisatie voor veiligheids- en beveiligingsonderzoek op het gebied van AI, classificeert dit als ‘op hol geslagen afstemming bij het nastreven van scores’, waarbij een AI-model alles zal doen wat nodig is om een hoge score te behalen, waarbij instructies, bijwerkingen of stroomafwaartse gevolgen volledig worden genegeerd. Redwood-onderzoekers Alex Mullen en Girish Gupta waarschuwden in een recent artikel dat modellen met dergelijke uitlijningseigenschappen een 'Potemkin Village' van witkalk zouden kunnen creëren, waarbij valse successen zouden worden gebruikt om echte valkuilen te maskeren.
Dit streven naar scores en andere vormen van op hol geslagen afstemming is niet uniek voor OpenAI. Anthropic heeft eerder verschillende artikelen gepubliceerd waarin erop wordt gewezen dat wanneer de geavanceerde modellen worden geoptimaliseerd of in autonome omgevingen worden geplaatst, onbeheersbaar gedrag ontstaat, zoals bedrog, beloond hacken en kwaadwillige autonomie. Niv Parikh, een onderzoeker bij METR, een non-profitorganisatie die zich toelegt op AI-alignment, gaf ook toe dat wanneer modellen worden gevraagd taken uit te voeren die op het randje van hun capaciteiten liggen, ze, zelfs als bedrijven verschillende inspanningen doen om dergelijk gedrag te verminderen, modellen zullen blijven observeren die beperkingen proberen te omzeilen en bedrieglijk gedrag vertonen.
De reactie van OpenAI op het Hugging Face-incident impliceert feitelijk een uitgangspunt dat niet kan worden genegeerd: ongeacht of deze systemen op kernniveau volledig op elkaar zijn afgestemd, zal het tempo van de ontwikkeling van krachtigere systemen nooit stoppen. Wanneer het voortbestaan van commerciële AI-bedrijven sterk afhankelijk is van het voortdurend lanceren van nieuwe generaties modellen, is ‘teruggaan naar de tekentafel om te bedenken’ niet langer een realistische optie. Als het nooit 100% zeker kan zijn dat een model volledige afstemming heeft bereikt, dan is de ultieme vraag waarmee de realiteit wordt geconfronteerd, hoe deze steeds krachtiger wordende systemen technisch en veilig kunnen worden gecontroleerd en beheerst.
Tegelijkertijd is de aandacht binnen de industrie ook op andere verkenningsrichtingen gericht. Na twee jaar van ingetogen stilte heeft het veilige superintelligentiebedrijf, opgericht door voormalig OpenAI-medeoprichter en afstemmingshoofd Ilya Suzkvill, onlangs een langdurige samenwerking met Nvidia aangekondigd om zijn AI-onderzoek uitgebreid te bevorderen. De deal geeft SSI toegang tot Nvidia's Vera Rubin GPU-platform, waardoor de computerbronnen verschillende keren worden uitgebreid. In een tijd waarin commerciële druk traditionele AI-laboratoria ertoe kan aanzetten hun beveiligingsdrempels te verlagen, is de keuze van SSI om zich niet te laten afleiden door commerciële productreleases of kortetermijninkomstencycli en zich te concentreren op het nastreven van veilige en afgestemde universele redeneringsbasistechnologie op dit moment bijzonder intrigerend. Vooral in combinatie met het recente ‘jailbreak’-incident van het OpenAI-model heeft dit geleid tot diepgaande reflectie in de industrie over de vraag of AI-uitlijning kan worden gewaarborgd voordat sterkere modellen worden uitgebracht.