Op 9 maart kondigde OpenAI aan dat het het kunstmatige-intelligentiebeveiligingsplatform Promptfoo zou verwerven en is van plan de technologie van het bedrijf volledig te integreren in OpenAI's agentplatform OpenAI Frontier op ondernemingsniveau nadat de transactie is voltooid. Promptfoo is vooral gericht op zakelijke gebruikers en helpt bij het identificeren en oplossen van verschillende beveiligingsproblemen tijdens de ontwikkelingsfase van AI-systemen. De tools zijn door meer dan een kwart van de Fortune 500-bedrijven overgenomen en ondersteunen de evaluatie en het rode team-testen van grote taalmodelapplicaties via open source CLI en bibliotheken.
OpenAI zei dat naarmate bedrijven daadwerkelijk ‘AI-collega’s’ inzetten in bedrijfsprocessen, beoordeling, beveiliging en compliance basisvereisten zijn geworden. Bedrijven hebben niet alleen een systematische aanpak nodig om het gedrag van agenten te testen en risico's te identificeren voordat ze online gaan, maar ze moeten ook duidelijke gegevens bijhouden tijdens de exploitatie en het onderhoud op de lange termijn om te voldoen aan de behoeften op het gebied van toezicht, bestuur en verantwoording. Hoewel OpenAI van plan is het open source-project Promptfoo voort te zetten, zal het zijn mogelijkheden diep in Frontier integreren om zakelijke gebruikers completere geïntegreerde oplossingen te bieden.
Het Promptfoo-team, geleid door mede-oprichters Ian Webster en Michael D’Angelo, heeft een volwassen en krachtige set tools ontwikkeld voor beoordeling en aanvalssimulatie (red-teaming) om bedrijven te helpen potentiële risico’s te identificeren bij het op grote schaal toepassen van grote modellen. OpenAI verklaarde dat Promptfoo een diepgaande technische accumulatie heeft in de evaluatie, beveiliging en testen van AI-systemen op bedrijfsniveau. Zijn werk helpt bedrijven veiligere en betrouwbaardere AI-toepassingen in te zetten. Door deze mogelijkheden rechtstreeks in Frontier op te nemen, wordt het algehele beveiligingsniveau van het platform aanzienlijk verbeterd.
Volgens informatie vrijgegeven door OpenAI zullen bedrijven die in de toekomst agenten op het Frontier-platform bouwen, worden verbeterd in verschillende kernmogelijkheden. Ten eerste zullen veiligheids- en beveiligingstests worden ingebed als native mogelijkheden van het platform: geautomatiseerde beveiligingstests en red team-aanvalsmogelijkheden zullen bedrijven helpen risico's zoals snelle injectie, jailbreaking, datalekken, misbruik van tools en gedrag van agenten buiten het beleid om te identificeren en te beperken. Ten tweede zullen de beveiligings- en beoordelingsmogelijkheden nauwer worden geïntegreerd in de ontwikkelingsworkflow, waardoor teams de risico's van agenten in een eerder stadium kunnen identificeren, oplossen en repareren, waardoor beveiliging een van de kernaspecten wordt van de ontwikkeling en exploitatie van AI-systemen op bedrijfsniveau. Ten derde zal het platform de toezicht- en verantwoordingsmogelijkheden versterken door rapportage- en traceerbaarheidstools te integreren om organisaties te helpen testprocessen vast te leggen, risicoprofielen in de loop van de tijd te monitoren en te voldoen aan de steeds strengere eisen op het gebied van bestuur, risico en compliance.
Ian Webster, mede-oprichter en CEO van Promptfoo, zei dat de oorspronkelijke bedoeling van Promptfoo was om ontwikkelaars een praktische en haalbare oplossing te bieden om de veiligheid van AI-systemen te garanderen. Naarmate AI-agenten steeds nauwer verbonden raken met echte gegevens en sleutelsystemen, worden de moeilijkheidsgraad en het belang van hun beveiligingsbescherming en systematische verificatie snel groter. Hij zei dat de toetreding tot OpenAI Promptfoo in staat zal stellen de investeringen in deze richting te versnellen en sterkere beveiligings-, betrouwbaarheids- en bestuursmogelijkheden te bieden aan teams die echte AI-systemen bouwen.
OpenAI zei dat het enthousiast is om zich bij het Promptfoo-team aan te sluiten en door zal gaan met het bouwen van relevante tools om bedrijven te helpen AI-applicaties en agentsystemen veilig en betrouwbaar in te zetten. De voltooiing van de overname blijft afhankelijk van de vervulling van de gebruikelijke sluitingsvoorwaarden.