Uit een nieuw rapport van HAI (Human-Centered Artificial Intelligence) van Stanford University blijkt dat geen van de bekende ontwikkelaars van de onderliggende modellen van kunstmatige intelligentie, inclusief bedrijven als OpenAI en Meta, voldoende informatie heeft vrijgegeven over hun potentiële impact op de samenleving.

Vandaag heeft Stanford HAI zijn Underlying Model Transparency Index vrijgegeven, die bijhoudt of de makers van de tien populairste kunstmatige-intelligentiemodellen informatie vrijgeven over hun werk en hoe mensen hun systemen gebruiken. Van de geteste modellen scoorde Meta’s Llama2 het hoogst, gevolgd door BloomZ en vervolgens OpenAI’s GPT-4. Maar het blijkt dat geen van hen bijzonder hoog scoorde.

Andere geëvalueerde modellen zijn onder meer Stability's StableDiffusion, Anthropic's Claude, Google's PaLM2, Cohere's Command, AI21Labs' Jurassic2, Inflection's Inflection-1 en Amazon's Titan.

De onderzoekers erkennen dat transparantie een vrij breed begrip kan zijn. Hun definitie is gebaseerd op 100 indicatoren die informatie geven over hoe het model is gebouwd, hoe het model werkt en hoe mensen het model gebruiken. Ze ontleedden de openbare informatie over het model en gaven elk een score, waarbij ze opmerkten of de bedrijven partners en externe ontwikkelaars bekendmaakten, of ze klanten vertelden of hun modellen privé-informatie gebruikten, en een hele reeks andere vragen.

Toen het bedrijf zijn onderzoek naar het maken van modellen publiceerde, was de Meta-score 53%, met de hoogste score op het gebied van de basisprincipes van modellen. Open-sourcemodel BloomZ volgt op de voet met 50% ondersteuning, en GPT-4 met 47% ondersteuning - op gelijke hoogte voor stabiele verspreiding ondanks de relatief gesloten ontwerpbenadering van OpenAI.

OpenAI weigert de meeste onderzoeksresultaten te publiceren en maakt de bron van zijn gegevens niet bekend, maar GPT-4 slaagt erin hoog te scoren omdat er veel informatie beschikbaar is over zijn partners. OpenAI werkt samen met een aantal verschillende bedrijven om GPT-4 in hun producten te integreren, wat resulteert in een schat aan openbare details die ter beoordeling beschikbaar zijn.

Stanford-onderzoekers ontdekten echter dat geen van de makers van het model enige informatie onthulde over de sociale impact, inclusief waar ze klachten over privacy, auteursrecht of vooroordelen konden indienen.

Rishi Bommasani, directeur van het Center for Fundamental Modeling van Stanford University en een van de onderzoekers van de index, zei dat het doel van de index is om een ​​benchmark te bieden voor overheden en bedrijven. Sommige voorgestelde regelgeving, zoals de EU-wet op het gebied van kunstmatige intelligentie, kunnen ontwikkelaars van grootschalige onderliggende modellen binnenkort dwingen tot transparantierapportage.

"Wat we met de index proberen te bereiken, is het model transparanter maken en zeer onduidelijke concepten opsplitsen in concretere dingen die kunnen worden gemeten", aldus Bomasani. De groep concentreerde zich op één model van elk bedrijf om vergelijkingen gemakkelijker te maken.

Generatieve AI heeft een grote en actieve open source-gemeenschap, maar enkele van de grootste bedrijven in het veld delen onderzoek of hun code niet publiekelijk. Hoewel OpenAI het woord 'open' in zijn naam heeft, verspreidt het zijn onderzoek niet langer, daarbij verwijzend naar concurrentie- en veiligheidsproblemen.

Bommasani zei dat de organisatie openstaat voor uitbreiding van de reikwijdte van de index, maar in de tussentijd vasthoudt aan de tien basismodellen die zij al heeft geëvalueerd.