Als reactie op het veelvoorkomende probleem van bias in de huidige visuele modellen van kunstmatige intelligentie heeft het Sony AI-team onlangs een nieuwe dataset uitgebracht genaamd "Fair Human-Centric Image Benchmark (FHIBE)", met als doel de standaardisatie van eerlijkheidstesten en ethische gegevensverzameling te bevorderen.
Alle afbeeldingen in deze dataset zijn met mijn toestemming verzameld en bestrijken 81 landen en regio's over de hele wereld. Het bevat in totaal 10.318 afbeeldingen en 1.981 onafhankelijke onderwerpen. Elke afbeelding is uitgerust met gedetailleerde annotaties, inclusief professionele informatie zoals randdefinities, segmentatiemaskers en cameraparameters, zodat ontwikkelaars een gedetailleerde evaluatie van het model kunnen uitvoeren.
Alice Xiang, hoofd van de mondiale AI-governance bij Sony AI, zei dat een misverstand op het gebied van computervisie is dat modellen de werkelijkheid objectief kunnen weerspiegelen vanwege hun afhankelijkheid van data en algoritmen. In feite zal databias in het modeltrainingsproces rechtstreeks van invloed zijn op de daadwerkelijke prestaties. In China hadden sommige gezichtsherkenningssystemen voor mobiele telefoons bijvoorbeeld ooit onvoldoende Aziatische gezichten in de trainingsgegevens, waardoor familieleden het apparaat per ongeluk ontgrendelden en betalingen voltooiden, wat veiligheidsrisico's met zich meebracht. Bovendien hebben bestaande visuele modellen ook problemen gehad, zoals het verkeerd classificeren van vrouwelijke artsen als verpleegsters, of het onbedoeld versterken van beroeps-, raciale en genderstereotypen.
Voorheen kregen de meeste computer vision-datasets die werden gebruikt om de eerlijkheid te beoordelen niet de toestemming van de proefpersonen en kropen ze zelfs afbeeldingen rechtstreeks van internetplatforms, wat leidde tot veel geschillen over auteursrechten en privacy. Daarentegen beschikt de gehele gegevensverzameling van FHIBE over volledig openbare registers van toestemmings- en compensatieprocessen, en wordt aangenomen dat deze een nieuwe ethische standaard voor de sector heeft gezet.
Op basis van de FHIBE-test ontdekte het Sony AI-team dat de nauwkeurigheid van sommige modellen afnam bij de omgang met aangewezen geslachtsvoornaamwoorden (zoals 'Zij/Her/Hers') vanwege de diversiteit aan kapsels. Het model kan ook op onredelijke wijze criminele activiteiten associëren met bepaalde etnische groepen bij de erkenning van beroepen. Het team benadrukte dat FHIBE ontwikkelaars kan helpen deze afwijkingen tijdig te ontdekken en te corrigeren, de industrie ertoe kan aanzetten meer aandacht te besteden aan ethiek en eerlijkheid bij het verzamelen van gegevens, en R&D-personeel kan aanmoedigen meer middelen te investeren in het verbeteren van de datalaaginnovatie.
Hoewel het Amerikaanse federale niveau op dit moment nog geen beleid heeft ingevoerd dat specifiek de ethiek en eerlijkheid van AI ondersteunt, eisen de EU AI Act en de relevante regelgeving in sommige Amerikaanse staten de herziening van algoritmische vooringenomenheid op gebieden met een hoog risico. De Sony Group heeft de FHIBE-dataset overgenomen in het AI-ethiekbeoordelingsproces en beoordeelt proactief de eerlijkheid van haar bedrijfsmodellen in overeenstemming met de AI-ethiekcode.
Alice Xiang is van mening dat ‘data-nihilisme’ steeds vaker voorkomt in de sector, en de praktijk van FHIBE laat zien dat AI-technologie volledig kan worden ontwikkeld op basis van goedgekeurde en gecompenseerde gegevens. Hoewel de huidige schaal van FHIBE nog steeds klein is en niet voldoende om big data-training te ondersteunen, is het belang ervan om methodedemonstraties voor de industrie te bieden en meer aandacht te vestigen op datalaaginnovatie, wat nog steeds een belangrijk probleem is dat moet worden opgelost in het huidige AI-veld.