Amazon Prime Video: Intelligenza Artificiale per Sincronizzare il Labiale dei Doppiatori!

di
Mani su una timeline di montaggio video con monitor retroilluminato e cuffie

La funzionalità di sincronizzazione labiale AI debutta nelle prime due stagioni di Maxton Hall

Anteprima: Prime Video sta utilizzando l’intelligenza artificiale per rendere i doppiaggi in inglese meno evidenti. L’azienda ha iniziato con Maxton Hall, impiegando AI e strumenti di effetti visivi per allineare i movimenti labiali degli attori al doppiaggio in inglese dello show. Questo lancio offre ad Amazon un primo test su come l’AI in post-produzione possa rendere la programmazione in lingua straniera più naturale per gli spettatori, senza sostituire il doppiaggio tradizionale.

La funzionalità è disponibile in tutto il mondo per le prime due stagioni dello show e sarà inclusa anche nella terza e ultima stagione, che avrà premiere a inizio dicembre.

La tecnologia opera in tandem con il doppiaggio registrato umanamente. Prime Video ha dichiarato che combina l’AI e gli strumenti di effetti visivi per modificare i movimenti delle labbra dopo aver tradotto e registrato i dialoghi. Il risultato dovrebbe far coincidere più strettamente l’audio inglese con ciò che gli spettatori vedono sullo schermo.

Schermo di post-produzione che mostra tracce audio e video allineate
Strumenti di post-produzione usati per adattare labbra e audio nel doppiaggio.

Per ora, Maxton Hall è l’unica serie che utilizza questa funzionalità. Prime Video ha annunciato piani per estendere il doppiaggio sincronizzato con le labbra ad altri titoli, ma non ha specificato quali saranno i prossimi programmi né ha fornito dettagli sui sistemi AI impiegati.

Questo lancio rappresenta per Amazon un caso di prova di alto profilo. Maxton Hall, una serie romantica in lingua tedesca, è la serie originale internazionale più vista su Prime Video. La sua imminente terza stagione è basata sul romanzo del 2018 di Mona Kasten, Save Me.

Un'interfaccia di streaming che mostra una serie internazionale in evidenza
Maxton Hall è la serie internazionale più vista su Prime Video.

Prime Video ha iniziato a testare il doppiaggio assistito dall’AI l’anno scorso, includendo 12 film e serie in inglese e spagnolo. Tra questi titoli figuravano El Cid: La Leyenda, Mi Mamá Lora e Long Lost. Il lancio di Maxton Hall va oltre, modificando il video stesso per adattarlo meglio all’audio tradotto.

LEGGI  Podcast Apple@Work: il ruolo di Apple nella telemedicina

“Con il lip-syncing, stiamo creando un modo più fluido e coinvolgente per i clienti di godere dei contenuti globali,” ha dichiarato Raf Soltanovich, vice presidente della tecnologia di Prime Video e Amazon MGM Studios. “E per i creatori, stiamo facilitando la diffusione delle loro storie a un pubblico ancora più ampio e globale, tutto sotto la supervisione creativa per garantire che l’integrità della loro visione artistica sia preservata.”

L’azienda non ha specificato quanto del processo sia automatizzato né quali tecnologie AI specifiche vengano utilizzate. Ha affermato che la funzionalità è stata sviluppata utilizzando una combinazione di strumenti AI e VFX e opererà sotto supervisione creativa.

Prime Video sta entrando in un mercato in crescita per gli strumenti di traduzione e doppiaggio AI. Meta e YouTube hanno introdotto funzionalità di doppiaggio AI che possono tradurre i video dei creatori in altre lingue. Entrambe le piattaforme offrono anche opzioni di sincronizzazione labiale progettate per rendere il discorso tradotto più naturale.

L’approccio di Amazon si differenzia in un modo importante: sta abbinando gli aggiustamenti visivi al doppiaggio umano per una serie sceneggiata. L’azienda non sta sostituendo gli attori vocali con voci automatizzate. Invece, sta utilizzando l’AI e le tecniche di post-produzione per colmare il divario visibile tra il dialogo tradotto e le performance originariamente filmate in tedesco.

Messaggi simili:

LEGGI  Tesla Denunciata: Accuse di Manomissione del Contachilometri per Eludere le Garanzie