Adobe offre il modello text-to-image Firefly, ma presto verrà aggiunto alla famiglia anche un modello per la modifica dei video. Il tool sarà disponibile entro l'anno in Premiere Pro. La software house ha mostrato le tre funzionalità principali. In futuro, gli utenti potranno anche sfruttare modelli di terze parti, come Sora di OpenAI.
IA generativa in Premiere Pro
I nuovi strumenti per l'editing video di Premiere Pro, basati su Firefly, semplificheranno l'esecuzione di varie operazioni, come l'aggiunta o eliminazione di oggetti e l'estensione della lunghezza di un clip esistente. Alcune modifiche potranno essere effettuate sfruttando modelli di terze parti, tra cui quelli di OpenAI, Runway e Pika Labs.
Nel video dimostrativo si può vedere l'uso di suddetti modelli in Premiere Pro. Usando Firefly è possibile generare oggetti mancanti (come i diamanti) scrivendo un prompt testuale o rimuovere un oggetto selezionato. L'IA generativa consente inoltre di aggiungere frame alla clip per incrementare la durata.
Quest'ultima funzionalità sarà disponibile anche con modelli di terze parti, come quello di Pika Labs usato nel video. Sora di OpenAI o il modello di Runway possono essere invece sfruttati per generare un'intera traccia video, a partire da un prompt testuale o una serie di immagini. Tutti i contenuti IA avranno l'etichetta Content Credentials che indica l'uso dei modelli text-to-video.
Adobe non ha indicato una data di lancio, ma solo che le funzionalità saranno disponibili entro fine anno. Gli utenti potranno invece utilizzare a maggio alcuni tool IA per la gestione dell'audio in Premiere Pro, come la creazione di transizioni personalizzate e l'aggiunta automatica di etichette per dialoghi, effetti sonori e musica. Da febbraio è invece disponibile il tool Enhance Speech che migliora la qualità dei dialoghi rimuovendo i rumori indesiderati.