YouTube développe une fonctionnalité d’intelligence artificielle pour générer une synchronisation labiale pour ses vidéos doublées automatiquement. La technologie vise à améliorer le réalisme en modifiant les mouvements de la bouche d’un locuteur pour s’aligner sur les pistes audio traduites, dans le but d’augmenter l’engagement du spectateur. Selon Tendances numériquesla base technique du système, telle que détaillée par Buddhika Kottahachchi, responsable produit de YouTube pour le doublage automatique, repose sur une IA personnalisée. Kottahachchi a expliqué que la technologie exécute des modifications complexes au niveau des pixels sur la bouche à l’écran d’un locuteur pour créer une synchronisation avec l’audio doublé. Le modèle d’IA intègre une perception tridimensionnelle des structures du visage, lui permettant d’analyser la géométrie des lèvres et des dents. Il est également conçu pour interpréter et reproduire les expressions faciales qui accompagnent la parole. Cette approche de modélisation 3D permet au système de simuler plus précisément les mouvements physiques nécessaires pour parler dans une langue différente. Dans sa phase initiale, la fonctionnalité de synchronisation labiale aura des limitations techniques et linguistiques spécifiques. Le traitement de l’IA est actuellement limité aux vidéos avec une résolution de 1080p et ne peut pas être appliqué au contenu 4K. Au lancement, la prise en charge linguistique se limitera à l’anglais, au français, à l’allemand, au portugais et à l’espagnol. Suite à cette période d’introduction, YouTube prévoit d’étendre la prise en charge à plus de 20 langues. Cette extension est conçue pour aligner la fonctionnalité de synchronisation labiale sur la gamme complète de langues actuellement proposées par le service de doublage automatique de YouTube. YouTube n’a pas annoncé de date de sortie ferme pour cette fonctionnalité. La société devrait d’abord introduire la technologie à travers un programme pilote avec un petit groupe de créateurs, une stratégie qui reflète le déploiement de la fonction de doublage automatique. Ce service de doublage automatique a été étendu à un public plus large le mois dernier, ce qui indique que l’ajout de synchronisation labiale pourrait subir une période de test prolongée. Les créateurs disposeront de contrôles pour gérer son utilisation, y compris l’option signalée permettant de désactiver la fonctionnalité pour l’ensemble de leur chaîne ou pour des vidéos individuelles, leur donnant ainsi le dernier mot sur la présentation de leur contenu. Cette fonctionnalité peut entraîner un coût supplémentaire, bien qu’un prix spécifique n’ait pas été finalisé. On ne sait pas si le créateur ou le consommateur supportera les frais, mais les rapports suggèrent que ce sera probablement le consommateur. Pour remédier à d’éventuelles utilisations abusives, YouTube prévoit de mettre en place des garanties. Ceux-ci incluent une divulgation descriptive pour informer les téléspectateurs de la modification de l’IA et une empreinte digitale invisible et persistante intégrée dans la vidéo. Ce filigrane numérique est décrit comme ayant une fonction similaire à SynthID, un outil utilisé pour identifier le contenu généré par l’IA, fournissant un mécanisme de suivi et d’authentification. YouTube n’est pas la seule plateforme à développer cette technologie. Meta a une initiative comparable pour sa plate-forme Instagram, où elle a lancé l’année dernière un programme pilote pour doubler et synchroniser Reels. Bien que les détails sur le succès du programme soient limités, il a été récemment étendu pour prendre en charge quatre langues : anglais, hindi, portugais et espagnol. https://www.youtube.com/watch?v=8W3noE2Uxag
