OpenAI a lancé un aperçu de recherche d’Operator, un agent d’IA à usage général capable d’effectuer des tâches de manière indépendante en prenant le contrôle d’un navigateur Web. Cette fonctionnalité est d’abord disponible pour les utilisateurs américains sur le plan d’abonnement Pro à 200 $ de ChatGPT, avec des plans pour s’étendre à des niveaux d’utilisateurs supplémentaires à l’avenir.
Opérateur OpenAI expliqué
L’opérateur peut automatiser diverses tâches, notamment la réservation d’hébergements, les réservations de restaurants et les achats en ligne. Les utilisateurs peuvent choisir parmi des catégories telles que les achats, la livraison, les restaurants et les voyages dans l’interface de l’opérateur. Lorsqu’elle est activée, une fenêtre de navigateur Web dédiée apparaît, montrant aux utilisateurs les actions effectuées par l’opérateur ainsi que des explications. Les utilisateurs peuvent garder le contrôle de leurs écrans pendant qu’Operator opère dans son propre environnement de navigateur.
OpenAI affirme que la superintelligence est plus proche que vous ne le pensez
L’agent IA est alimenté par un modèle Computer-Using Agent (CUA), qui combine les capacités de vision du modèle GPT-4o avec un raisonnement avancé. CUA interagit avec le front-end des sites Web sans nécessiter d’API axées sur les développeurs. Cette fonctionnalité lui permet d’utiliser des boutons, de naviguer dans les menus et de remplir des formulaires comme le ferait un humain. OpenAI collabore avec diverses sociétés, notamment DoorDash, eBay, Instacart et Priceline, garantissant que l’opérateur respecte leurs conditions de service.
OpenAI indique que le modèle CUA est conçu pour demander une confirmation à l’utilisateur avant de finaliser des tâches ayant des effets externes, comme la soumission d’une commande ou l’envoi d’un e-mail. Malgré ses capacités, OpenAI prévient que CUA peut ne pas fonctionner de manière fiable dans tous les scénarios et avoir du mal à réaliser des tâches complexes telles que la création de diaporamas détaillés, la gestion de calendriers complexes ou la navigation dans des interfaces Web non standard.
Pour les tâches sensibles, telles que les transactions bancaires, une supervision des utilisateurs est requise. L’opérateur ne collecte ni ne capture d’écran les données des utilisateurs, et il impose une surveillance directe sur les sites particulièrement sensibles comme la messagerie électronique et les services financiers, permettant aux utilisateurs de corriger rapidement toute erreur.
L’opérateur a certaines limites. OpenAI impose des limites de débit, à la fois quotidiennes et en fonction des tâches, et précise que certaines tâches, comme l’envoi d’e-mails ou la suppression d’événements du calendrier, seront refusées pour des raisons de sécurité. OpenAI prévoit de réviser ces restrictions à l’avenir, bien qu’aucun calendrier précis ne soit fourni.https://www.youtube.com/watch?v=m0Cjiq8P6iU
L’opérateur peut également rencontrer des difficultés avec des interfaces Web complexes, des champs de mot de passe et des contrôles CAPTCHA, incitant l’utilisateur à intervenir à ce stade. OpenAI reconnaît les risques de sécurité associés aux systèmes d’IA capables d’agir sur le Web, soulignant la nécessité d’empêcher les exploits potentiels par des acteurs malveillants.
OpenAI a mis en place plusieurs mesures de sécurité. L’agent demande une entrée de contrôle à l’utilisateur lors de transactions sensibles et effectue des confirmations utilisateur avant des actions importantes. L’opérateur rejette les tâches spécifiques à haut risque et nécessite une supervision directe sur les plateformes sensibles. Les mesures d’enquête comprennent une navigation prudente pour éviter des injections rapides, un système de surveillance pour suspendre les opérations lors d’activités suspectes et un pipeline de détection automatisé pour des protections mises à jour.
Qu’est-ce que l’opérateur OpenAI et comment fonctionne-t-il ?
Operator est un agent d’IA à usage général qui peut effectuer de manière autonome des tâches sur le Web à l’aide d’un navigateur dédié. Il interagit avec les sites Web en cliquant sur des boutons, en parcourant les menus et en remplissant des formulaires.
En quoi Operator est-il différent des autres outils d’IA comme Siri, Alexa ou Google Assistant ?
Contrairement aux assistants traditionnels, Operator ne se contente pas de traiter les informations ; il peut effectuer des actions sur le Web, comme réserver un hébergement ou commander des produits d’épicerie, en interagissant directement avec les sites Web.
Quelles tâches l’opérateur peut-il effectuer de manière autonome ?
Il peut gérer des tâches répétitives telles que la réservation de voyages, la commande de nourriture, les réservations et les achats en ligne.
Pourquoi Operator est-il d’abord lancé en tant qu’aperçu de recherche ?
L’aperçu de la recherche permet à OpenAI de recueillir des commentaires, d’améliorer la sécurité et d’affiner l’outil avant un déploiement plus large.
Qu’est-ce que le modèle Computer-Using Agent (CUA) et comment permet-il à l’opérateur d’interagir avec les sites Web ?
CUA combine les capacités de vision de GPT-4o avec un raisonnement avancé, permettant à l’opérateur de voir et d’interagir avec des interfaces utilisateur graphiques telles que des boutons et des formulaires.
L’opérateur peut-il effectuer des tâches complexes comme la création de diaporamas ou la gestion de calendriers ?
Pas encore. L’opérateur a du mal à gérer des interfaces complexes et des flux de travail spécialisés.
Quelles sont les limites de débit ou les limitations de tâches pour l’utilisation d’Operator ?
L’opérateur a des limites d’utilisation dynamiques quotidiennes et spécifiques à des tâches, et il ne peut pas effectuer de tâches telles que l’envoi d’e-mails ou la gestion de CAPTCHA.
Comment l’opérateur gère-t-il les tâches sensibles telles que les opérations bancaires ou la saisie des informations de paiement ?
Il nécessite la supervision de l’utilisateur pour les actions sensibles, comme la saisie des informations de paiement ou de connexion, et ne stocke pas ces données.
Comment OpenAI garantit-il la sécurité et la fiabilité de l’opérateur ?
Operator est conçu avec des protections, notamment des confirmations d’utilisateur, un mode de prise de contrôle pour les entrées sensibles et une surveillance des activités malveillantes.
Quelles garanties sont en place pour empêcher l’opérateur de commettre des erreurs ou d’être utilisé à mauvais escient ?
Il demande une confirmation à l’utilisateur avant d’effectuer des actions importantes et utilise des systèmes de surveillance pour suspendre les tâches si une activité suspecte est détectée.
Comment l’opérateur gère-t-il les problèmes de confidentialité et les utilisateurs peuvent-ils se désinscrire de la collecte de données ?
Les utilisateurs peuvent se désinscrire de la collecte de données, supprimer les données de navigation et contrôler les paramètres de confidentialité via l’interface de l’opérateur.
Que se passe-t-il si l’opérateur est confronté à des tentatives de phishing ou à des sites Web malveillants ?
Il est formé pour détecter et ignorer les entrées malveillantes, et un système de surveillance peut suspendre les tâches si quelque chose de suspect se produit.
Qui peut utiliser Operator et combien cela coûte-t-il ?
Actuellement, Operator est disponible pour les utilisateurs américains avec le plan d’abonnement Pro de 200 $ de ChatGPT.
Quand Operator sera-t-il disponible en dehors des États-Unis, notamment en Europe ?
OpenAI prévoit de le déployer à l’échelle mondiale, mais l’Europe pourrait prendre plus de temps en raison de considérations régionales.
L’opérateur sera-t-il éventuellement inclus dans tous les niveaux d’abonnement ChatGPT ?
Oui, OpenAI prévoit d’étendre l’accès aux niveaux Plus, Team et Enterprise.
Les développeurs pourront-ils à l’avenir créer des outils personnalisés à l’aide du modèle CUA ?
Oui, OpenAI prévoit de publier le modèle CUA dans l’API pour permettre aux développeurs de créer leurs propres agents.
Avec quelles entreprises OpenAI collabore-t-il pour Operator, et comment cela profite-t-il aux utilisateurs ?
OpenAI s’associe à des sociétés comme DoorDash, Instacart et Uber pour optimiser les fonctionnalités de l’opérateur tout en respectant les conditions de service.
Crédit image en vedette : OpenAI
