Le projet d’intelligence artificielle d’Elon Musk, xAIattire l’attention avec la sortie d’une version améliorée de son modèle de langage Grok. Surnommé Grok-1.5cette dernière itération bénéficie d’une mémoire à court terme considérablement améliorée et de capacités de raisonnement améliorées.
La puissance de la mémoire de Grok-1.5
Un aspect essentiel de la mise à niveau de Grok-1.5 est une augmentation significative de la capacité de mémoire à court terme. Dans les grands modèles de langage (LLM), cette mémoire se mesure en «jetons« .
En gros, les jetons peuvent être considérés comme les unités de base de signification dans un texte, qu’il s’agisse de mots ou de parties de mots. Grok-1.5 peut désormais traiter jusqu’à 128 000 jetonsun Une multiplication par 16 par rapport à son prédécesseur.
Pourquoi cette capacité de mémoire étendue est-elle importante?
Il permet à Grok-1.5 de conserver et de traiter des morceaux d’informations beaucoup plus importants tout en effectuant ses tâches. Imaginez essayer de comprendre un contrat juridique complexe alors que vous n’êtes autorisé à lire qu’un seul paragraphe à la fois.
Une IA avec une mémoire à court terme forte peut « voir » la situation dans son ensemblelui permettant de prendre de meilleures décisions et de générer des réponses plus pertinentes.
Le raisonnement fait un grand pas
Outre une mémoire améliorée, Grok-1.5 démontre des capacités de raisonnement améliorées. Cela se traduit par la capacité de mieux comprendre les relations complexes entre les informations et de tirer des conclusions logiques.
Pour les utilisateurs, cela signifie que Grok-1.5 pourrait être plus capable de :
- Comprendre les nuances et les complexités d’un long texte
- Suivre une chaîne d’instructions ou de demandes, même si elles ne sont pas parfaitement linéaires
- Fournir des résumés qui reflètent fidèlement les points clés d’un document
Le codage et les calculs reçoivent un coup de pouce
Il semble que xAI ait spécifiquement ciblé les capacités mathématiques et de codage de Grok-1.5. Selon les propres tests de xAI, les performances sur les benchmarks qui mesurent ces compétences se sont considérablement améliorées. Sur le benchmark MATH (un ensemble de problèmes mathématiques au niveau de l’école primaire et de la compétition), Grok-1.5 a obtenu un score de 50,6 %. Il a également démontré un score de 90 % au test GSM8K (un autre ensemble de problèmes mathématiques).
De plus, Grok-1.5 a obtenu un score de 74,1 % au test HumanEval, qui mesure la capacité de l’IA à générer du code et à résoudre des problèmes liés au codage. Ce sont des chiffres prometteurs, même si xAI n’a pas encore détaillé ses progrès ni ses scores dans d’autres domaines de compétence.
Qu’est-ce que cela peut signifier pour les utilisateurs ?
Bien que les détails techniques de la mise à niveau de Grok-1.5 soient impressionnants, qu’est-ce que tout cela signifie réellement pour les utilisateurs ? Voici quelques domaines potentiels dans lesquels les améliorations pourraient apporter des avantages :
- Analyse de documents: Grok-1.5 pourrait être mieux équipé pour résumer des textes et des rapports longs et complexes. Cela pourrait faire gagner du temps à ceux qui ont besoin de comprendre rapidement l’essentiel de documents longs.
- Écriture créative: Un raisonnement et une mémoire améliorés pourraient permettre à Grok-1.5 de générer des formats de texte plus cohérents et structurés, qu’il s’agisse d’histoires créatives, de scripts ou même de poésie.
- Résolution de problème: Les compétences renforcées en mathématiques et en codage de l’IA pourraient aider dans les tâches nécessitant des calculs ou la génération de code à des fins spécifiques.
Mais peut-il détrôner les géants ?
Analysons comment la mémoire de Grok-1.5 se compare à celle des autres acteurs majeurs du domaine LLM :
- Grok-1.5: Avec sa capacité de mémoire à court terme de 128 000 tokens, Grok bénéficie d’un avantage significatif dans ce département spécifique.
- GPT-4: Bien que les chiffres exacts ne soient pas confirmés publiquement, les estimations suggèrent que ChatGPT 4 compte des dizaines de milliers de jetons, notamment moins que Grok-1.5.
- Google Gémeaux Avancé: Selon les rumeurs, le modèle d’IA de Google aurait un nombre de jetons supérieur à 100 000. Bien qu’elle soit toujours inférieure à Grok-1.5, la différence est plus petite que celle observée avec ChatGPT 4.
Bien que la mémoire accrue de Grok-1.5 offre un avantage certain, elle ne garantit pas qu’elle puisse détrôner les géants actuels comme ChatGPT 4 ou Google Gemini Advanced. Le succès dans le secteur LLM est une interaction complexe de facteurs.
La course continue
La sortie de Grok-1.5 intervient à une époque de progrès rapides dans le secteur de l’IA. Les entreprises et les instituts de recherche repoussent constamment les limites de ce qui LLM peut faire.
Nous vivons une époque passionnante, car la concurrence stimule l’innovation. Nous devrions nous attendre à de nouvelles améliorations de Grok et à l’introduction de modèles d’IA entièrement nouveaux dans les mois et les années à venir.
Crédit image en vedette: X.ai