Op 16 december bracht het Tongyi Wanxiang-team van Alibaba een nieuwe generatie Wanxiang 2.6-serie modellen uit. Deze versie wordt gedefinieerd als het eerste videogeneratiemodel in China dat rollenspelfuncties ondersteunt. Het integreert ook audio- en videosynchronisatie, multi-shot-generatie en mogelijkheden voor geluidsdrivers.
Er wordt gemeld dat Wanxiang 2.6 de timinginformatie, onderwerpkenmerken en akoestische elementen van de invoervideo kan leren door middel van multimodale gezamenlijke modellering op technisch niveau, met als doel de algehele consistentie van de gegenereerde video in termen van beeld en geluid te bereiken. De storyboard-controlefunctie kan origineel materiaal omzetten in professionele verhalende paragrafen, inclusief multi-shot-switching op basis van semantisch begrip.
Deze upgrade richt zich op het verbeteren van de beeldkwaliteit, geluidseffecten en commandovolgmogelijkheden, en ondersteunt maximaal 15 seconden videogeneratie per keer. Met de nieuwe rollenspelfunctie kunnen gebruikers persoonlijke video's uploaden en deze combineren met promptwoorden. Het model kan het storyboardontwerp, de rolinterpretatie en de nasynchronisatie automatisch voltooien om een korte film met een filmisch gevoel te genereren. Deze mogelijkheid is voornamelijk gericht op professionele scenario's zoals reclameontwerp en de productie van korte toneelstukken.
Momenteel beschikt de Wanxiang Model-familie over meer dan tien soorten visuele creatiemogelijkheden, zoals Vincent-foto's, beeldbewerking en Vincent-video's. Vanaf nu kunnen gebruikers Wanxiang 2.6 ervaren via de officiële website, en zakelijke gebruikers kunnen de model-API ook aanroepen via het Alibaba Cloud Bailian-platform.
