OpenAI zegt dat het een nieuw systeem heeft geïmplementeerd om de nieuwste AI-inferentiemodellen te monitoreno3 en o4-mini om signalen te detecteren die verband houden met biologische en chemische bedreigingen.Dat blijkt uit het beveiligingsrapport van OpenAI, een systeem dat is ontworpen om te voorkomen dat deze modellen aanbevelingen doen die iemand ertoe kunnen aanzetten potentieel schadelijke aanvallen uit te voeren.

OpenAI zei dat de prestaties van O3 en o4-mini aanzienlijk zijn verbeterd ten opzichte van eerdere modellen, waardoor ook nieuwe risico's voor kwaadwillende aanvallers zijn geïntroduceerd. Volgens de interne benchmarks van OpenAI is o3 beter in het beantwoorden van specifieke soorten biodreigingsgerelateerde vragen. Om deze reden, en om andere risico's te verminderen, heeft OpenAI een nieuw monitoringsysteem gecreëerd, dat het bedrijf omschrijft als een 'op beveiliging gerichte gevolgtrekkingsmonitor'.

De monitor draait op o3 en o4-mini en is op maat getraind om te redeneren over het inhoudsbeleid van OpenAI. Het is ontworpen om aanwijzingen te identificeren die verband houden met biologische en chemische risico's en om het model te instrueren aanbevelingen over deze onderwerpen te verwerpen.

Om een ​​basislijn vast te stellen, liet OpenAI leden van het rode team ongeveer 1.000 uur besteden aan het markeren van 'onveilige' gesprekken met betrekking tot biorisico's in o3 en o4-mini. OpenAI zei dat in een test die de ‘blokkeerlogica’ van zijn beveiligingsmonitors simuleerde, de modellen 98,7% van de tijd weigerden te reageren op risicovragen.

OpenAI erkende dat bij het testen geen rekening werd gehouden met mensen die nieuwe prompts zouden proberen nadat ze door een monitor waren geblokkeerd. Daarom zei het bedrijf dat het gedeeltelijk zal blijven vertrouwen op menselijk toezicht.

OpenAI zei dat O3 en o4-mini de door OpenAI vastgestelde drempel voor biologisch risico voor "hoog risico" niet overschreden. OpenAI zegt echter dat eerdere versies van o3 en o4-mini nuttiger zijn bij het beantwoorden van vragen over de ontwikkeling van biologische wapens dan o1 en GPT-4.

Diagram van o3- en o4-mini-systeemkaarten (Screenshot: OpenAI)

Volgens het onlangs bijgewerkte preventieraamwerk van OpenAI houdt het bedrijf actief bij hoe zijn modellen het voor kwaadwillende gebruikers gemakkelijker maken om chemische en biologische bedreigingen te ontwikkelen.

OpenAI vertrouwt steeds meer op geautomatiseerde systemen om de risico's van zijn modellen te verkleinen. Om bijvoorbeeld te voorkomen dat de eigen beeldgenerator van GPT-4o inhoud over seksueel misbruik van kinderen (CSAM) creëert, zegt OpenAI dat het een gevolgtrekkingsmonitor gebruikt die vergelijkbaar is met degene die het bedrijf heeft ingezet voor o3 en o4-mini.

Sommige onderzoekers zijn echter bezorgd dat OpenAI de beveiliging niet brengt waar deze zou moeten zijn. Metr, een van de rode teampartners van het bedrijf, zei dat ze weinig tijd hadden om de misleidingen van o3 te beoordelen. Ondertussen heeft OpenAI besloten geen beveiligingsrapport uit te brengen over het GPT-4.1-model dat het eerder deze week uitbracht.