Convai, utilisant la nouvelle technologie NVIDIA ACE, est sur le point d’élever les PNJ IA grâce à de nouvelles avancées en matière d’IA générative. Leur première démonstration, mettant en vedette un magasin de ramen réaliste et les personnages Jin et Kai, était impressionnante. Aujourd’hui, Convai révèle une nouvelle phase dans la technologie des personnages basée sur l’IA. Cette innovation permet aux personnages d’engager des conversations authentiques avec les joueurs au sein des jeux, améliorant ainsi l’interaction entre les joueurs.
Avec le dévoilement de capacités améliorées en matière de génération conversationnelle, perceptuelle et d’action, Convai a fait des progrès significatifs dans la création d’expériences de jeu immersives. Ces développements promettent un saut transformateur dans la façon dont les joueurs interagissent avec les environnements de jeu et les personnages, marquant une avancée notable pour la technologie IA NPC.
Annonces du CES 2024: Produits les plus intéressants
Convai accueille les PNJ IA avec NVIDIA ACE
NVIDIA ACE représente une étape révolutionnaire dans la technologie des jeux. Imaginez un scénario dans lequel les joueurs peuvent engager des conversations intelligentes, non scénarisées et dynamiques avec des personnages non jouables (PNJ) dans les jeux. Ces PNJ posséderaient des personnalités évolutives, des animations faciales précises et la capacité d’interagir dans la langue maternelle du joueur. Ce concept devient réalité grâce aux technologies d’IA générative.
Lors du COMPUTEX 2023, NVIDIA a annoncé l’avenir des PNJ avec le NVIDIA Avatar Cloud Engine (ACE) pour les jeux. NVIDIA ACE for Games est un service de fonderie de modèles d’IA sur mesure conçu pour révolutionner le jeu en intégrant à des personnages non jouables des interactions en langage naturel basées sur l’IA. Ce développement est sur le point de transformer l’expérience de jeu, en rendant les interactions avec les personnages du jeu plus réalistes et immersives.
L’IA générative a le potentiel de révolutionner l’interactivité que les joueurs peuvent avoir avec les personnages du jeu et d’augmenter considérablement l’immersion dans les jeux. S’appuyant sur notre expertise en IA et des décennies d’expérience de travail avec les développeurs de jeux, NVIDIA est le fer de lance de l’utilisation de l’IA générative dans les jeux.
-John Spitzer, vice-président des développeurs et des technologies de performance chez NVIDIA
NVIDIA ACE pour les développeurs
NVIDIA ACE for Games ouvre la voie aux développeurs de middleware, d’outils et de jeux pour intégrer des fonctionnalités d’IA avancées. Grâce à cette plate-forme, ils peuvent créer et déployer des modèles d’IA de parole, de conversation et d’animation personnalisés dans leurs logiciels et jeux, accessibles dans les environnements cloud et PC.
Les modèles de base d’IA optimisés intégrés à NVIDIA ACE for Games incluent :
- NVIDIA NeMo: Celui-ci propose des modèles de langage fondamentaux ainsi que des outils de personnalisation des modèles, permettant aux développeurs d’affiner davantage les modèles en fonction de leurs personnages de jeu. Ce grand modèle de langage (LLM) personnalisable facilite la création d’histoires et de personnalités de personnages uniques, adaptées au monde de jeu d’un développeur. NeMo Guardrails permet également aux développeurs de définir des règles programmables pour les PNJ, garantissant ainsi que les interactions des joueurs sont cohérentes avec le contexte d’une scène.
- NVIDIA Riva: Il étend les capacités de reconnaissance vocale automatique (ASR) et de synthèse vocale (TTS), favorisant les conversations vocales en direct intégrées à NVIDIA NeMo. Cela facilite une interaction transparente entre les joueurs et les personnages du jeu.
- NVIDIA Omniverse Audio2Face: Fonctionnalité remarquable, Audio2Face génère des animations faciales expressives pour les personnages du jeu à partir d’une simple source audio. Avec les connecteurs Omniverse pour Unreal Engine 5, les développeurs peuvent ajouter directement des animations faciales aux personnages MetaHuman, améliorant ainsi considérablement le réalisme et l’expressivité du jeu.
Ces composants de NVIDIA ACE for Games représentent un pas en avant substantiel dans le développement de jeux, offrant des outils permettant de créer des expériences de jeu plus réalistes et interactives. Cette suite d’outils souligne l’engagement de NVIDIA à faire progresser l’industrie du jeu grâce à des applications d’IA innovantes.
Comment fonctionne NVIDIA ACE ?
NVIDIA ACE for Games fonctionne d’une manière qui démontre ses capacités remarquables et donne un aperçu de l’avenir du développement des PNJ dans les jeux. Pour illustrer cela, NVIDIA a collaboré avec Convai, une startup NVIDIA Inception dédiée à la création et au déploiement de personnages IA dans les jeux et les mondes virtuels. Ce partenariat a joué un rôle déterminant dans l’optimisation et l’intégration des modules ACE dans la plateforme Convai.
La démo Kairos, une vitrine de NVIDIA ACE for Games, utilisait diverses technologies NVIDIA :
Avec NVIDIA ACE for Games, les outils de Convai peuvent atteindre la latence et la qualité nécessaires pour rendre les personnages IA non jouables accessibles à presque tous les développeurs de manière rentable.
-Purnendu Mukherjee, fondateur et PDG de Convai
NVIDIA Riva a été utilisé pour les fonctions de synthèse vocale et de synthèse vocale, NVIDIA NeMo a alimenté l’IA conversationnelle et Audio2Face a été utilisé pour l’animation faciale pilotée par l’IA dérivée des entrées vocales. Ces modules ont été parfaitement intégrés à la plateforme de services Convai, puis intégrés à Unreal Engine 5 et MetaHuman, aboutissant à la création de Jin, un personnage de la scène Ramen Shop.
Cette scène, ainsi que Jin, a été conçue par l’équipe artistique de NVIDIA Lightspeed Studios et entièrement rendue dans Unreal Engine 5. Le rendu a utilisé NVIDIA RTX Direct Illumination (RTXDI) pour l’éclairage et les ombres par lancer de rayons, et DLSS pour optimiser les fréquences d’images et l’image. qualité.
La démonstration en temps réel de Jin et de son Ramen Shop présente non seulement les capacités des cartes graphiques GeForce RTX, des technologies NVIDIA RTX et NVIDIA ACE for Games, mais illustre également le potentiel futur des jeux qui utiliseront cette technologie révolutionnaire.
