Volgens de Wall Street Journal speelden echte acteurs in het bijbelse historische drama ‘King of David’, geproduceerd door Amazon, op 27 april gevallen engelen en sterfelijke vrouwen, en was het omringende landschap een door AI gegenereerd meesterwerk, zoals een sombere staalgrijze lucht en ruige bergruggen.

Figuur 1: De achtergrond van "The Dynasty of David" wordt gegenereerd met behulp van AI

Er waren 850 shots met visuele effecten in het eerste seizoen van de show, waarvan er 73 zijn gemaakt met behulp van generatieve AI, waaronder een tool ontwikkeld door de Chinese videosite Kuaishou. Wonder Project, de producent van de show, zei dat dit de kosten bespaart van dure opnames op locatie.

Van Hollywood-kaskrakers tot korte video's op sociale media: videomakers wenden zich steeds vaker tot AI om inhoud te produceren waarvoor ooit grote groepen videografen nodig waren.

“Naarmate de productiekosten dalen, wordt ook de drempel voor makers om te experimenteren en nieuwe ideeën te testen lager”, zegt Zeng Yushen, hoofd operaties bij Kuaishou Video’s grote model Keling AI. Het door het bedrijf ontwikkelde AI-model werd gebruikt bij de productie van "King of David".

China video groot model loopt voorop

Hoewel de meeste Amerikanen zich daar misschien niet van bewust zijn als ze tv kijken of door video's op hun telefoon scrollen, speelt China op dit gebied een belangrijke rol. Chinese bedrijven zijn verantwoordelijk voor zeven van de tien beste videogeneratiemodellen gerangschikt op beoordelingsplatform Artificial Analysis, die concurreren met rivalen als Google en Elon Musk’s xAI.

Deze maand ging een videogeneratiemodel genaamd "HappyHorse" viraal nadat het Amerikaanse rivalen versloeg in een blinde kwaliteitsbeoordeling. Later onthulde de Chinese e-commercegigant Alibaba dat het zijn eigen model was.

Figuur 2: China is goed voor zeven van de tien beste videomodellen

Eerder dit jaar lanceerde Bytedance zijn nieuwste AI-videogenerator, Seedance 2.0, die ook veel aandacht trok. Het kan tekstprompts omzetten in realistische korte filmscènes. ByteDance’s TikTok concurreert met Kuaishou, dat honderden miljoenen gebruikers heeft in China.

Tilly Zhang, een technologieanalist bij onderzoeksbureau Gavekal, zei dat deze platforms "natuurlijk enorme hoeveelheden gelabelde korte videogegevens bevatten die kunnen worden gebruikt voor modeltraining. Dit creëert een gegevensbarrière die voor de meeste bedrijven moeilijk te repliceren is."

Uitdagingen voor videomodellen

OpenAI heeft onlangs besloten zijn Sora-videogeneratieservice stop te zetten en de samenwerking met Disney te beëindigen. Andere Amerikaanse bedrijven zoals Google blijven actief investeren op dit gebied.

De sluiting van Sora benadrukt de technische en juridische uitdagingen waarmee AI-video wordt geconfronteerd. Het genereren van een video kan honderden keren meer rekenkracht vergen dan een chatbotapplicatie die een tekstantwoord produceert. OpenAI hoopt te voorkomen dat er wordt geïnvesteerd in marginale projecten die te veel rekenkracht verbruiken, om zich te concentreren op producten met hogere winstmarges.

Auteursrechtkwesties zijn ook een plaag voor de sector. ByteDance heeft de release van zijn Seedance-update in de VS uitgesteld na tegenstand van Hollywood. In China hebben enkele bekende acteurs onlangs ook publiekelijk het ongeoorloofde gebruik van hun beeltenissen in door AI gegenereerde video’s veroordeeld.

Figuur 3: OpenAI sluit Sora af

Het Chinese videoplatform iQiyi is de laatste tijd verwikkeld in controverse. Toen CEO Gong Yu een AI-project introduceerde dat onder meer een licentiebibliotheek voor portretten van beroemdheden omvat, zei hij: "Fotografie met echte acteurs kan binnenkort tot het verleden behoren." Zodra deze verklaring naar buiten kwam, spraken veel bekende acteurs zich snel uit en verklaarden dat ze niets met het project te maken hadden.

Toch wordt AI-video steeds meer geïntegreerd in het dagelijkse online leven van mensen, vooral in China maar ook in de Verenigde Staten, waar de twee supermachten elkaar beïnvloeden. Eerder dit jaar verzamelde een reeks absurde korte AI-spoofs van vechtsportfilms miljarden views op de Chinese sociale media en inspireerde een groot aantal fans om soortgelijke video's te maken. De originele video's zijn geproduceerd door een Chinees voedingsbedrijf dat de AI-tools van ByteDance gebruikte om zijn gestoofde eendproduct te promoten.

Sommige Chinese startups voor videomodellering investeren in 'wereldmodellen', die zijn ontworpen om de fysieke wereld te simuleren. Sommige onderzoekers zeggen dat humanoïde robots die zijn uitgerust met uitstekende wereldmodellen gedrag kunnen vertonen dat dichter bij de mens staat.

Of het nu gaat om het genereren van wereldmodellen of AI-video's, het is noodzakelijk om de fundamentele wiskundige en fysieke wetten van objectbeweging in de echte wereld onder de knie te krijgen. Veel bedrijven zoals Aishi Technology en Shengshu Technology, geïnvesteerd door Alibaba, maken gelijktijdig vorderingen in deze twee technische richtingen.

Kort spel AI

De snelgroeiende kortedrama-industrie is een early adopter geworden van AI-videogeneratietechnologie. Deze series, die draaien om romantiek of familievetes, duren elk slechts een paar minuten en zijn ontworpen om kijkers aan hun telefoonscherm gekluisterd te houden. Door het strakke tempo en de frequente plotomkeringen zijn kijkers vaak minder gevoelig voor visuele fouten bij het bekijken van dit soort inhoud op een klein scherm.

Dit soort inhoud is in China geëxplodeerd en miniseries worden geïntegreerd in e-commercesites en apps voor voedselbezorging om te strijden om de aandacht van de consument. Recentelijk is dit model ook in de Verenigde Staten geleidelijk aan opgekomen. Platforms zoals ReelShort en DramaBox, gebouwd door Chinese oprichters, hebben tientallen miljoenen dollars aan inkomsten gegenereerd bij het Amerikaanse publiek.

In een studio in de Oost-Chinese stad Hangzhou leidt Shao Zhikun een 60-koppig AI-productieteam voor korte drama's. Hij zei dat hun workflow meer leek op het spelen van de loterij dan op het maken van een film.

Om een ​​bruikbare scène te creëren, moet het team van Shao Zhikun herhaaldelijk promptwoorden in het AI-model invoeren, wat veel tijd en rekenkracht kost. Soms, zegt hij, zijn de geproduceerde succesvolle clips van voldoende kwaliteit om als basis te dienen voor verder polijsten. Het team ontdekte ook hoe ze geld konden besparen door eerst goedkopere statische afbeeldingen te genereren en deze afbeeldingen vervolgens als leidraad te gebruiken om het model te helpen video's te genereren, waardoor kosten werden bespaard.

Het team van Shao Zhikun gebruikt de tools van Bytedance om elke maand 100 korte drama's te produceren voor platforms zoals Bytedance's Hongguo Short Drama en ReelShort. Shao Zhikun zei dat de productiekosten variëren van een paar honderd dollar tot meer dan 10.000 dollar, wat slechts een klein deel van het traditionele budget is.

De 29-jarige teamleider zei: "De logica hier is anders. We proberen geen artistieke meesterwerken te creëren. Zolang een of twee drama's hits worden, kunnen de kosten worden terugverdiend."

Net als bij videogames proberen miniseries kijkers naar binnen te lokken met gratis afleveringen of trailers, en vervolgens te eisen dat ze betalen of advertenties bekijken om daaropvolgende inhoud te ontgrendelen. Ze kunnen ook reclameblokken in de show bevatten.

Zeng Yushen, hoofd operaties bij Kuaishou Keling AI, zei dat de vraag van de entertainmentindustrie ook buiten China groeit. Miracle Pictures, de producent van de serie "King of David", onthulde dat in het tweede seizoen het aantal shots geproduceerd met behulp van generatieve AI-tools meer dan vier keer zo groot was als in het eerste seizoen.

Zeng Yushen zei dat 70% van de omzet van Keling van buiten China komt, en dat de Verenigde Staten de belangrijkste markt zijn. Kuaishou zei dat het dit jaar kapitaaluitgaven van ongeveer 3,8 miljard dollar plant, voornamelijk om tegemoet te komen aan de groeiende behoefte aan rekenkracht van Keling.

"Ik voorspel dat AI-video's binnen een jaar of twee een niveau zullen bereiken waarop het voor mensen heel moeilijk is om het verschil te zien tussen authenticiteit en nep", zegt Zeng Yushen. "Deze technologie zal een steunpilaar worden in de film- en entertainmentindustrie."