Adobe heeft een grote update aangekondigd voor zijn generatieve AI-videotoepassing Firefly, waarmee officieel een nieuwe video-editor wordt gelanceerd die fijnkorrelige woordbewerking ondersteunt, en de toegang tot modellen voor het genereren van afbeeldingen en video's van derden verder wordt uitgebreid, waaronder FLUX.2 van Black Forest Labs en Astra van Topaz Labs.

Vóór deze update was Firefly vooral gericht op de workflow van "het genereren van video's uit tekst". Als gebruikers niet tevreden waren met een bepaald deel van de gegenereerde resultaten, moesten ze vaak de hele video opnieuw genereren. Met de nieuwe versie van de video-editor kunnen gebruikers rechtstreeks via tekstprompts directionele aanpassingen maken aan elementen, kleuren en camerabewegingen in de video. Het biedt ook een tijdlijnweergave waarmee gebruikers nauwkeurige controle hebben over frames, geluiden en andere parameters. Deze editor bevond zich in oktober eerder in de privébèta en is nu officieel open voor alle gebruikers.

Adobe zei dat de nieuwe bewerkingsfunctie deels gebaseerd is op het Aleph-model van Runway. Gebruikers kunnen instructies in natuurlijke taal geven, zoals "Verander de lucht in bewolkt en verminder het contrast" of "Zoom iets in op de hoofdpersoon", waarna het systeem automatisch de bijbehorende beeldaanpassingen voltooit. Op basis van Adobe's eigen Firefly Video-model kunnen gebruikers ook een startframe en een referentievideo voor camerabewegingen uploaden, en het systeem soortgelijke camerabewegingseffecten in het huidige project laten reproduceren, waardoor lensontwerpmogelijkheden worden geïntroduceerd die dichter bij traditionele film- en televisieproductie staan ​​in het generatieve proces.

Op het gebied van beeldkwaliteit en resolutie heeft Adobe deze keer het Astra-model van Topaz Labs geïntroduceerd, dat het upgraden van video's naar een resolutie van 1080p of 4K ondersteunt om aan de uitvoervereisten van hogere kwaliteit te voldoen. Het FLUX.2-beeldgeneratiemodel van Black Forest Labs zal ook worden toegevoegd aan Firefly, met een nieuwe samenwerkingsdashboardfunctie waarmee teams de gegenereerde inhoud samen in dezelfde ruimte kunnen beoordelen en filteren. Adobe zegt dat FLUX.2 onmiddellijk beschikbaar zal zijn in de platformonafhankelijke Firefly-app, waarbij het model vanaf januari volgend jaar ook beschikbaar zal zijn voor Adobe Express-gebruikers.

Terwijl concurrenten doorgaan met het lanceren van nieuwe generaties modellen voor het genereren van afbeeldingen en video's, hoopt Adobe door deze ronde van updates de aantrekkingskracht van Firefly te vergroten en de gebruikerstevredenheid te vergroten. Het bedrijf kondigde ook aan dat voor abonnees van Firefly Pro, Firefly Premium en 7.000 punten- en 50.000-puntenplannen, "onbeperkte generatie" -rechten van alle beeldmodellen en Firefly Video-modellen vóór 15 januari volgend jaar zullen worden geopend, wat een meer kosteneffectieve creatieperiode biedt voor grote makers en professionele gebruikers.

Het afgelopen jaar is Adobe de Firefly-productlijn blijven herhalen: in februari van dit jaar lanceerde het bedrijf een abonnementsplan voor verschillende niveaus van behoeften op het gebied van beeld- en videogeneratie; in april bracht het een nieuwe versie van de Firefly-webapplicatie uit en werden verschillende modellen voor het genereren van afbeeldingen bijgewerkt; en lanceerde vervolgens in de loop van het jaar een mobiele applicatie specifiek voor het maken van afbeeldingen en video's, en bleef het ecosysteem van modellen van derden uitbreiden die binnen de applicatie kunnen worden aangeroepen. Met de implementatie van deze videobewerkingsfunctie en toegang tot meerdere modellen evolueert Firefly geleidelijk van een enkele "generator" naar een creatief AI-platform dat generatie, bewerking en samenwerking integreert.