Google dévoilé Generative UI lundi, une technologie qui permet aux modèles d’IA de générer des interfaces interactives entièrement personnalisées en réponse aux invites des utilisateurs, optimisée par Gemini 3 Pro et déployée dans l’application Gemini et le mode IA de la recherche Google pour offrir des expériences dynamiques au-delà des réponses textuelles statiques. La fonctionnalité principale de Generative UI consiste à créer divers résultats tels que des pages Web, des outils interactifs, des jeux et des simulations basés sur toute question ou instruction fournie par les utilisateurs. Cette approche passe des interactions conventionnelles avec les chatbots, qui ne génèrent généralement que du texte, à la production d’interfaces utilisateur complètes et interactives adaptées à des besoins spécifiques. Le déploiement commence dans l’application Gemini, où les utilisateurs rencontrent directement ces éléments générés, et s’étend au mode IA de la recherche Google, améliorant les résultats de recherche avec des composants interactifs. Un document de recherche intitulé «UI générative : les LLM sont des générateurs d’interface utilisateur efficaces« , publié parallèlement à l’annonce, détaille le processus d’évaluation. Des évaluateurs humains ont examiné les interfaces générées par l’IA par rapport aux sorties standard d’un grand modèle de langage, en excluant la vitesse de génération en tant que variable. Les résultats ont montré une forte préférence pour les interfaces interactives, indiquant leur efficacité en termes d’engagement et de compréhension des utilisateurs. Cet article, rédigé par des chercheurs de Google, dont Yaniv Leviathan, fournit un support empirique pour la viabilité de la technologie. Dans l’application Gemini, Google teste deux implémentations distinctes de l’interface utilisateur générative. La vue dynamique exploite Les capacités de codage de Gemini 3 permettent de concevoir et de coder des interfaces sur mesure pour chaque invite individuelle. Ce processus implique d’analyser le contexte de l’invite pour adapter à la fois le contenu présenté et les fonctionnalités interactives incluses, garantissant ainsi la pertinence par rapport à l’intention de l’utilisateur. Par exemple, le système génère du code à la volée pour créer des éléments tels que des boutons, des formulaires ou des visualisations qui répondent aux entrées de l’utilisateur en temps réel. Des sections qui peuvent être développées, modifiées ou interagies davantage. Ce format permet une narration visuelle combinée à des fonctionnalités, telles que des éléments déplaçables ou des simulations intégrées, rendant les informations complexes plus accessibles par des moyens graphiques. Google met l’accent sur la capacité de la technologie à personnaliser les résultats en fonction du public. Comme indiqué dans le blog de recherche de l’entreprise, « il personnalise l’expérience en comprenant qu’expliquer le microbiome à un enfant de 5 ans nécessite un contenu et un ensemble de fonctionnalités différents de celui de l’expliquer à un adulte. » Cette adaptation implique d’ajuster la complexité du langage, les aides visuelles et les niveaux d’interaction en fonction des connaissances et de l’âge du destinataire, en s’appuyant sur les capacités de raisonnement contextuel du modèle. Dans la recherche Google, l’accès à Generative UI s’effectue via le mode AI, limité aux abonnés Google AI Pro et Ultra aux États-Unis. Les utilisateurs l’activent en choisissant « Penser » dans le menu déroulant du modèle, qui traite ensuite les requêtes pour générer des outils et des simulations interactifs sur mesure. Cette intégration enrichit les expériences de recherche en proposant des explorations pratiques de sujets, tels que les calculatrices financières ou les modèles scientifiques, directement dans l’interface de recherche. https://storage.googleapis.com/gweb-research2023-media/media/Dynamic_View_Van_Gogh_1920x1080.mp4
Vidéo : Google
Le système sous-jacent combine Gemini 3 Pro avec des améliorations spécifiques : l’accès aux outils permet la génération d’images et les intégrations de recherche sur le Web, permettant à l’IA d’incorporer des données et des visuels en temps réel dans les interfaces. Des instructions système soigneusement conçues guident le comportement du modèle pour s’aligner sur les attentes des utilisateurs, tandis que les étapes de post-traitement corrigent les erreurs courantes telles que les incohérences de mise en page ou les inexactitudes factuelles. Ces composants fonctionnent ensemble pour affiner les résultats avant la présentation. Pour faire progresser la recherche externe, Google a développé l’ensemble de données PAGEN, comprenant des sites Web conçus par des experts dans divers domaines. Cette collection sert de référence pour la formation et l’évaluation des modèles de génération d’interface utilisateur. L’ensemble de données sera bientôt accessible à la communauté de recherche au sens large, facilitant ainsi les études sur la création et l’amélioration d’interfaces basées sur l’IA. https://storage.googleapis.com/gweb-research2023-media/media/AIM-CAPYBARA-RNA-1920×1080-Under20MB.mp4
Vidéo : Google
Les versions actuelles de Generative UI présentent certaines contraintes. Les temps de génération dépassent souvent une minute, en fonction de la complexité de l’invite et de l’interface requise. Les résultats contiennent parfois des inexactitudes, telles que des représentations de données incorrectes ou des problèmes fonctionnels, que Google identifie comme des domaines de recherche actifs. Les efforts se concentrent sur l’optimisation de la vitesse et de la fiabilité grâce à des mises à jour itératives du modèle et à des techniques de traitement raffinées. Ce dévoilement s’aligne sur le lancement de Gemini 3, le modèle d’IA le plus avancé de Google à ce jour. Gemini 3 Pro a obtenu un score de 1 501 au classement LMArena, surpassant les itérations précédentes en termes de mesures de performances globales. Sur le benchmark GPQA Diamond, conçu pour les tâches de raisonnement de niveau doctorat, il a atteint une précision de 91,9 %. De plus, sans outils externes, il a obtenu un score de 37,5 % au dernier examen de l’humanité, un test complet de connaissances avancées dans toutes les disciplines.
