Opéra révélé aujourd’hui, son initiative visant à intégrer un support expérimental pour 150 variantes locales du Large Language Model (LLM), provenant d’environ 50 familles de modèles différentes. La fonctionnalité trouvera d’abord son chemin dans Opera One sur le flux Développeur, apportant avec elle 150 modèles de plus de 50 familles parmi lesquels les utilisateurs peuvent choisir.
Ceux-ci incluent le Vigogne et le Lama de Google et Meta, respectivement. Cela signifie que la fonctionnalité est proposée aux consommateurs via le programme AI Feature Drops d’Opera et donnerait un accès anticipé à quelques-unes de ces fonctionnalités d’IA. Ces modèles sont exécutés sur votre ordinateur via votre navigateur et exécutés avec le framework open source Ollama. Tous les modèles proposés actuellement sont sélectionnés dans la bibliothèque Ollama, mais la société espère qu’à l’avenir, elle en inclura certains provenant d’autres sources.
Chacun d’eux aura besoin de plus de 2 Go d’espace sur votre PC local, selon l’entreprise. Ainsi, pour éviter de manquer d’espace, utilisez votre espace libre à bon escient. Il est intéressant de noter qu’Opera n’essaie pas de sauvegarder les données si elles sont téléchargées sous forme de modèle.
Vous pouvez également consulter d’autres modèles en ligne sur des sites Web comme HuggingFace et PoE sur Quora, c’est donc vraiment pour vos besoins de tests de modèles locaux.
Les grands modèles linguistiques prennent désormais en charge le traitement des données directement sur l’appareil de l’utilisateur, permettant ainsi l’utilisation de l’IA générative tout en gardant les informations privées et éloignées de tout serveur externe. Opera a annoncé son intention d’introduire cette approche innovante dans les LLM locaux via le canal des développeurs Opera One, dans le cadre de son nouveau programme AI Feature Drops. Cette initiative offre aux premiers utilisateurs la possibilité d’essayer rapidement et régulièrement des versions de pointe des fonctionnalités d’IA du navigateur. A partir d’aujourd’hui, les utilisateurs d’Opera One Developer auront la liberté de sélectionner le modèle préféré pour traiter leurs données.
Comment essayer les LLM intégrés dans Opera ?
Pour interagir avec ces modèles, les utilisateurs doivent mise à niveau vers la version la plus récente d’Opera Developer et exécuter une série d’étapes pour activer cette fonctionnalité intéressante :
- Accédez à la barre latérale Aria Chat comme vous l’avez fait précédemment. En haut du chat, il y a un menu déroulant intitulé « Choisissez le mode local.»
- Sélectionner « Aller aux paramètres» à partir de ce menu.
- Cette zone vous permet de explorez et décidez quel(s) modèle(s) vous souhaitez télécharger.
- Pour une option plus petite et plus rapide, pensez à télécharger le modèle nommé GEMMA : 2B-INSTRUCT-Q4_K_M en cliquant sur l’icône de téléchargement située à sa droite.
- Une fois le téléchargement finalisé, cliquez sur le bouton de menu dans le coin supérieur gauche pour lancer une nouvelle session de discussion.
- Encore une fois, vous verrez un menu déroulant en haut du chat indiquant « Choisissez le mode local» où vous pouvez sélectionner le modèle que vous venez d’installer.
- Entrez votre invite dans le chatet le modèle hébergé localement répondra.
Les participants sélectionneront un LLM local à télécharger sur leur appareil. Cette approche nécessite entre 2 à 10 Go de stockage pour chaque version, offrant une alternative à l’utilisation d’Aria, l’IA du navigateur intégré d’Opera. Cette configuration reste en place jusqu’à ce que l’utilisateur lance une nouvelle interaction avec l’IA ou choisisse de réactiver Aria.
Crédit image en vedette : Opéra