Dès que Google a présenté son nouvel outil de génération vidéo, la question de savoir comment utiliser Google VideoPoet a commencé à faire écho dans le monde de la technologie.
Google VideoPoet constitue une amélioration significative par rapport aux modèles de génération vidéo traditionnels, offrant un large éventail de fonctionnalités et de capacités intéressantes. Formé sur MAGVIT-2, Google vise une nouvelle fois la première place des outils d’intelligence artificielle.
Mais comment utiliser Google VideoPoet et pourquoi envisagerait-on de l’essayer ? Expliquons-nous.
Comment utiliser Google VideoPoet
Malheureusement, Google VideoPoet n’est pas encore accessible au public. Bien qu’il ait été annoncé et présenté des capacités impressionnantes en mai 2023, il est toujours en cours de développement et n’est pas accessible pour un usage général. Nous ne pouvons donc pas encore vous dire comment utiliser Google VideoPoet.
Cependant, il existe plusieurs façons de découvrir de quoi Google VideoPoet est capable, même si vous ne l’essayerez pas vous-même.
Démo du site Web
Malheureusement, VideoPoet ne dispose pas encore de plateforme accessible au public. Cependant, l’équipe de recherche a publié un site Web de démonstration sur lequel vous pouvez découvrir certaines de ses fonctionnalités : https://sites.research.google/videopoet/
Ici, vous pouvez trouver des échantillons vidéo pré-générés présentant différents styles et fonctionnalités.
Document de recherche
Pour une compréhension plus approfondie du fonctionnement interne de VideoPoet, vous pouvez vous plonger dans le document de recherche : https://blog.research.google/2023/12/videopoet-large-lingual-model-for-zero.html
Cet article détaille les aspects techniques, les limites et le potentiel de l’outil.
N’oubliez pas que VideoPoet est toujours en cours de recherche et que son accessibilité et ses fonctionnalités pourraient changer à l’avenir. Cependant, en explorant les ressources disponibles et en restant informé, vous pouvez rester informé de cette passionnante technologie d’IA et de son impact potentiel sur la création vidéo.
Quelles sont les fonctionnalités remarquables de Google VideoPoet ?
Maintenant que nous avons fini d’expliquer comment utiliser Google VideoPoet, passons en revue cette merveille d’un outil d’IA.
VideoPoet est un modèle de génération vidéo révolutionnaire capable de produire des vidéos de longueur variable et de mouvements élevés à partir d’une simple invite de texte. Cet outil puissant a la capacité de générer un son qui correspond à une vidéo d’entrée, sans avoir besoin de conseils textuels supplémentaires.
Le secret des capacités impressionnantes de VideoPoet réside dans ses composants simples mais efficaces. Il utilise un pré-entraîné MAGVIT V2 un tokenizer vidéo et un tokenizer audio SoundStream, qui convertissent les images, les vidéos et les clips audio en un vocabulaire unifié. Ce vocabulaire est ensuite utilisé par un modèle de langage autorégressif, qui apprend selon diverses modalités, y compris le texte, pour générer des vidéos de haute qualité.
L’une des fonctionnalités les plus remarquables de VideoPoet est sa capacité à générer des vidéos avec un large éventail de contenus volumineux, intéressants et mouvements haute fidélité. Ceci est rendu possible par la capacité du modèle à apprendre selon différentes modalités, lui permettant de synthétiser et d’éditer des vidéos avec un haut degré de cohérence temporelle. Ainsi, savoir utiliser Google VideoPoet vous permettra de créer des vidéos de haute qualité sans aucun effort.
Une autre fonctionnalité intéressante de VideoPoet est sa capacité à dire histoires visuelles. En modifiant les invites au fil du temps, les utilisateurs peuvent créer des récits engageants qui se déroulent sous leurs yeux. De plus, VideoPoet prend en charge la génération de vidéos en orientation carrée ou portrait, ce qui le rend idéal pour le contenu court.
Dans quelle mesure Google VideoPoet fonctionne-t-il ? Voyez-le vous-même dans la vidéo YouTube de Recherche Google ci-dessous.
VideoPoet offre également des capacités d’édition interactives, permettant aux utilisateurs d’étendre les vidéos d’entrée et de sélectionner parmi une liste d’exemples pour contrôler finement le mouvement souhaité. Cette fonctionnalité est particulièrement utile pour créer des vidéos personnalisées correspondant à une invite textuelle spécifique.
Les capacités de montage vidéo contrôlables du modèle ne s’arrêtent pas là. Ça peut aussi modifier un sujet pour suivre différents mouvements, tels que les styles de danse, et générer des vidéos qui correspondent à une invite textuelle donnée. De plus, VideoPoet peut styliser les vidéos d’entrée guidées par une invite de texte, démontrant une adhésion rapide stylistiquement agréable.
Les utilisateurs peuvent également composer des styles et des effets dans génération de texte en vidéo en ajoutant simplement un style à une invite de base. Cette fonctionnalité permet des possibilités créatives infinies, faisant de VideoPoet un outil inestimable pour les créateurs de contenu.
Enfin, VideoPoet propose mouvements de caméra contrôlables sans prise de vue, permettant aux utilisateurs de spécifier le type de caméra prise dans l’invite de texte. Cette fonctionnalité est une propriété émergente de la pré-formation de VideoPoet et témoigne de la capacité du modèle à générer une personnalisation du mouvement de la caméra de haute qualité.
Nous sommes arrivés à la fin de notre article sur l’utilisation de Google VideoPoet. Les récents investissements de Google dans l’IA sont évidents. Si vous êtes intéressé par l’intelligence artificielle, nous vous recommandons de suivre les travaux de IA Gémeaux et Esprit profond étroitement.
Crédit image en vedette: Google VidéoPoète.
