Van het verzinnen van academische artikelen tot het plagiaat van kunstenaars: generatieve AI kent een groot aantal goed gedocumenteerde fouten. Nu lijkt het weer op te duiken bij staatsinvloedoperaties. Volgens een nieuw rapport van het in Massachusetts gevestigde bedrijf RecordedFuture, werd de nieuwste campagne “waarschijnlijk” geholpen door commerciële producten voor het genereren van kunstmatige intelligentie, waaronder publiekelijk vrijgegeven technologie van de populaire startup ElevenLabs.
Het rapport beschrijft een aan Rusland gelinkte campagne gericht op het ondermijnen van de Europese steun voor Oekraïne en noemt het een ‘moordoperatie’ waarbij op prominente wijze gebruik wordt gemaakt van door kunstmatige intelligentie gegenereerde voice-overs in valse of misleidende ‘nieuws’-video’s.
De video's waren gericht op een Europees publiek en vielen onder meer Oekraïense politici aan wegens corruptie of trokken het nut van militaire hulp aan Oekraïne in twijfel.
Het rapport stelt dat het “zeer waarschijnlijk” is dat videomakers spraakgenererende kunstmatige intelligentie hebben gebruikt, inclusief technologie van ElevenLabs, om hun inhoud legitiemer te laten lijken. Om dit te testen, dienden onderzoekers van RecordedFuture de clips in bij ElevenLabs' eigen AI-spraakclassificator, waarmee iedereen "kan detecteren of een audioclip is gemaakt met ElevenLabs", en kreeg een match;
ElevenLabs heeft niet gereageerd op een verzoek om commentaar. Hoewel RecordedFuture opmerkte dat er verschillende commerciële AI-hulpmiddelen voor het genereren van spraak kunnen worden gebruikt, werden er naast ElevenLabs geen andere genoemd.
De meesterbreinen van de invloedsbeweging demonstreerden onbedoeld het nut van het genereren van spraak door kunstmatige intelligentie toen ze nogal haastig een aantal video's uitbrachten met stemmen van echte mensen met 'onmiskenbare Russische accenten'. Daarentegen was de door AI gegenereerde nasynchronisatie in een verscheidenheid aan Europese talen, zoals Engels, Frans, Duits en Pools, zonder enige buitenlandse accenten.
Volgens RecordedFuture maakt AI het ook mogelijk dat misleidende fragmenten snel in meerdere talen in heel Europa worden geplaatst, zoals Engels, Duits, Frans, Pools en Turks (allemaal ondersteund door ElevenLabs).
RecordedFuture gaf de schuld aan SocialDesignAgency, een in Rusland gevestigde organisatie die in maart door de Amerikaanse overheid werd bestraft voor het exploiteren van "een netwerk van meer dan 60 websites die zich voordeden als echte Europese nieuwsorganisaties en vervolgens valse sociale-media-accounts gebruikten om de misleidende inhoud van deze vervalste sites te versterken." Het ministerie van Buitenlandse Zaken zei destijds dat dit allemaal ‘namens de Russische regering’ werd gedaan.
RecordedFuture concludeerde dat de algehele impact van de campagne op de Europese opinie minimaal was.
Volgens Bloomberg concludeert een spraakfraudedetectiebedrijf dat dit niet de eerste keer is dat de producten van ElevenLabs worden beschuldigd van misbruik. Een bedrijf voor stemfraudedetectie heeft geconcludeerd dat zijn technologie een rol heeft gespeeld bij een robocall waarin hij zich voordeed als de Amerikaanse president Joe Biden tijdens de voorverkiezingen in januari 2024, waarbij kiezers werden opgeroepen niet te gaan stemmen. Als reactie daarop zei ElevenLabs dat het nieuwe beveiligingsfuncties heeft uitgebracht, zoals het automatisch blokkeren van de stemmen van politici.
ElevenLabs verbiedt “ongeoorloofde, schadelijke of misleidende namaak” en zegt dat het een verscheidenheid aan instrumenten gebruikt om dit af te dwingen, zoals geautomatiseerde en menselijke beoordeling;
ElevenLabs heeft sinds de oprichting in 2022 een explosieve groei doorgemaakt. De ROE van het bedrijf is onlangs gestegen tot $80 miljoen, vergeleken met $25 miljoen minder dan een jaar geleden, en zou binnenkort kunnen worden gewaardeerd op $3 miljard. Tot de investeerders behoren Andreessen Horowitz en voormalig Github-CEO Nat Friedman.