In de vroege uren van woensdagochtend, Pekingse tijd, heeft OpenAI, een Amerikaanse technologiestart-up, een aankondiging gedaan waarin de lancering werd aangekondigd van een wereldwijde rekrutering van leden van het ‘rode team’-netwerk, met als doel externe krachten te introduceren om vooraf fouten en risico’s in AI-systemen aan het licht te brengen. Het concept van het zogenaamde ‘rode team’-netwerk, of RedTeaming, komt uit militaire simulaties.Dat wil zeggen: zoek een team van mensen om een ​​denkbeeldige ‘vijand’ te simuleren en zo de paraatheid van je eigen partij (het ‘blauwe team’) te testen.


(Bron: OpenAI)

Op het gebied van AI is de taak van het ‘rode team’ het simuleren van hackers of andere potentieel gevaarlijke mensen in een poging kwetsbaarheden in grote taalmodellen te vinden, waardoor wordt voorkomen dat AI helpt bij illegale doeleinden, zoals het in gevaar brengen van de sociale zekerheid in de echte samenleving.

OpenAI zei dat experts op verschillende gebieden de afgelopen jaren hebben geholpen bij het testen van nog niet uitgebrachte modellen. Nu is het een ‘reguliere strijdmacht’ aan het opzetten om een ​​groot aantal mensen uit verschillende regio’s, verschillende talen, verschillende vakgebieden en verschillende levenservaringen te rekruteren om gezamenlijk het AI-model veiliger te maken. Anders dan in het verleden, waarbij alleen een groep mensen werd gerekruteerd voor gecentraliseerd testen voordat een belangrijke versie online ging, zal OpenAI een onzeker aantal leden in staat stellen om gedurende de hele ontwikkelingscyclus tests uit te voeren op basis van de vraag.

Tegelijkertijd zal dit ‘rode team’-netwerk ook de wereldwijde expertbibliotheek van OpenAI worden, en zal OpenAI ook een platform bieden voor communicatie tussen de ‘rode team’-leden. OpenAI somt ook enkele van de deskundige richtingen op die ze hopen te werven op de officiële website, maar benadrukt ook dat het niet beperkt is tot deze vakgebieden.

Cognitieve Wetenschap: cognitieve wetenschap

Chemie: Chemie

Biologie: Biologie

Natuurkunde: natuurkunde

Informatica: Computerwetenschappen

Steganografie: steganografie

Politieke Wetenschappen: Politieke Wetenschappen

Psychologie: Psychologie

Overtuiging: overtuiging

Economie: Economie

Antropologie: Antropologie

Sociologie: sociologie

HCI (Human-Computer Interaction): mens-computerinteractie

Eerlijkheid en vooringenomenheid: eerlijkheid en vooringenomenheid

Uitlijning: doeluitlijning

Onderwijs: onderwijs

Gezondheidszorg: medische zorg

Wet: wet

Kinderveiligheid: kinderveiligheid

Cybersecurity: netwerkbeveiliging

Financiën: Financiën

Verkeerde/desinformatie: Verkeerde/valse informatie

Politiek Gebruik: politieke toepassing

Privacy: privacy

Biometrie: Biometrie

TalenenTaalkunde: Talen en Taalkunde

Overigens verklaarde OpenAI ook dat het een vergoeding zal betalen aan leden die deelnemen aan het ‘rode team’-project (maar specificeerde niet hoeveel het zal betalen), maar OpenAI benadrukte ook dat deelname aan het ‘rode team’-project over het algemeen vereist dat een vertrouwelijkheidsovereenkomst wordt ondertekend, of dat er voor onbepaalde tijd wordt gezwegen.

OpenAI liet weten dat het aanmeldingskanaal tot 1 december dit jaar open blijft. Het bedrijf zal de sollicitaties doorlopend beoordelen en vervolgens beoordelen of verdere open werving nodig is.

Leden van het OpenAI ‘rode team’ die het podium betraden

Zoals OpenAI vermeldt, bestaat het ‘rode team’-systeem al heel lang, en veel leden hebben al openbare interviews van de media ontvangen.

In een onthullend artikel in de Financial Times in april van dit jaar zei Andrew White, hoogleraar chemische technologie aan de Universiteit van Rochester in de Verenigde Staten, dat hij had deelgenomen aan de 'rode team'-test van GPT-4, en dat zijn aanvalsdoel was om ChatGPT te gebruiken om een ​​nieuw neurotoxine te creëren. White zei dat hij de 'plug-in'-functie gebruikte om scheikundepapieren en catalogi van chemische fabrikanten aan het grote model toe te voegen, en het grote model vond zelfs een plek voor hem waar hij zijn hypothetische gif kon produceren.

White zei dat grote modellen uiteindelijk veel mensen zouden kunnen helpen chemische experimenten sneller en nauwkeuriger uit te voeren, maar er bestaat ook een ernstig gevaar dat sommige mensen AI zullen gebruiken om gevaarlijke experimenten uit te voeren.

Na feedback van White te hebben ontvangen, heeft OpenAI wijzigingen in het systeem aangebracht om ervoor te zorgen dat het niet op soortgelijke vragen zou reageren. Volgens de media zijn er ongeveer tien 'rode team'-leden met verschillende achtergronden: advocaten, leraren, risicocontrolepersoneel, veiligheidsonderzoekers, enz. De meeste van hen bevinden zich in de Verenigde Staten en Europa. Ze onthulden dat ze in de maanden voordat GPT-4 werd uitgebracht, ongeveer 10 tot 40 uur besteedden aan het testen van het model, en dat ze ongeveer $ 100 per uur betaalden.