Comment plusieurs modèles d’IA peuvent s’associer pour résoudre des problèmes complexes

Les grands modèles de langue (LLM) ont transformé la façon dont l’IA s’attaque aux problèmes de raisonnement, de la réponse aux questions mathématiques délicates au sens du langage humain ambigu. Mais il y a une prise – ces modèles ont souvent du mal lorsque le raisonnement devient trop complexe. Une seule IA peut rester coincée dans des pièges à décision locaux, manquant de meilleures solutions simplement parce qu’elle ne sait pas ce qu’elle ne sait pas.

Une équipe de chercheurs du laboratoire chinois de l’Université de Hong Kong et de Shanghai AI, dirigée par Sen Yang, Yafu Li, Wai Lam et Yu Cheng, propose une solution: Mélange de recherche-agents (MOSA). Cette méthode permet à plusieurs modèles d’IA de fonctionner ensemble, en tirant parti de leurs forces combinées pour naviguer dans des problèmes de raisonnement complexes. Au lieu de s’appuyer sur la perspective d’un seul modèle, MOSA permet à différents agents d’IA d’explorer divers chemins de raisonnement et d’affiner les réponses de l’autre.

Leurs résultats, présentés dans l’étude « Recherche collaborative multi-llm pour la résolution de problèmes complexes», Montrez que cette approche améliore considérablement la précision de l’IA dans les tâches de raisonnement mathématiques et de bon sens.

Pourquoi les modèles d’IA ont-ils du mal avec un raisonnement complexe?

À la base, le raisonnement consiste à diviser un problème en étapes plus petites et à explorer différents chemins pour trouver la meilleure solution. Des approches traditionnelles basées sur la recherche, comme Étendue-première recherche (BFS) ou Recherche en profondeur d’abord (DFS)aider AI à naviguer systématiquement ces chemins. Mais même avec des techniques avancées comme Raisonnement de la chaîne de pensées (CO)où les modèles décomposent leur processus de réflexion étape par étape, un seul LLM peut toujours être des limites:

• Exploration limitée: Les modèles d’IA ont tendance à rester coincés dans des modèles de raisonnement familiers, ne pas explorer des solutions alternatives.
• Ambiguïté dans la langue: Le langage naturel est intrinsèquement vague, ce qui rend difficile pour une IA d’évaluer correctement toutes les interprétations possibles.
• Compromis entre la diversité et la précision: L’ajustement de la température d’une IA (comment il génère des réponses au hasard) aide à introduire la variété, mais elle se fait souvent au prix de la précision.

MOSA vise à résoudre ces problèmes en assemblant plusieurs modèles d’IA pour collaborer aux tâches de raisonnement, assurant une exploration plus large tout en maintenant la précision.

Comment fonctionne Mosa?

MOSA s’appuie sur une technique de recherche bien connue appelée Recherche de Monte Carlo Tree (MCTS)couramment utilisé dans les stratégies de jeu de jeu d’IA. Dans une configuration MCTS typique, une IA explore différents mouvements possibles, l’apprentissage des résultats passés pour améliorer sa prise de décision. MOSA améliore ce processus en intégrant plusieurs LLM dans la recherche, chacun agissant comme un agent de raisonnement indépendant.

Voici comment Mosa orchestre la collaboration:

1. Exploration de recherche diversifiée: Chaque agent d’IA propose différents chemins de raisonnement possibles, augmentant la diversité des directions de recherche.
2. Raffinement étape par étape: Les agents de l’IA analysent et affinent les étapes de raisonnement de l’autre, réduisant les erreurs.
3. Prise de décision agrégée: Au lieu de s’appuyer sur une seule sortie d’IA, MOSA regroupe les meilleures contributions de plusieurs modèles, garantissant des conclusions plus fiables.

En utilisant plusieurs modèles avec différentes données d’entraînement et forces, MOSA empêche toute IA unique de dominer le processus de décision, en évitant les pièges à optimisation locale.

Comment Mosa bat des modèles d’IA uniques

Pour tester l’efficacité de Mosa, les chercheurs ont mené des expériences à travers quatre repères de raisonnement bien connues:

• GSM8K (problèmes de mots mathématiques scolaires)
• Svamp (raisonnement mathématique avec variation des structures de langues)
• Math-500 (Un ensemble de données difficile pour les problèmes mathématiques avancés)
• Stratégieqa (Questions de raisonnement de bon sens)

Les résultats étaient clairs: MOSA a systématiquement surpassé les deux modèles d’IA à agent unique et les lignes de base multi-agents existantes.

• Dans Math-500l’un des ensembles de données les plus difficiles, Mosa a amélioré la précision de 1,8% sur les meilleures méthodes précédentes.
• Lors de l’intégration de plusieurs LLM Amélioration de 1,71% dans la précision globale du raisonnement par rapport à la recherche traditionnelle à modèle unique.
• Plus l’équipe de l’IA est diversifiée, meilleures sont les résultats, ajoutant plus de LLMS a encore augmenté les performances.

La recherche met en évidence une tendance importante: La collaboration AI est souvent plus efficace que la compétition d’IA. Tout comme les humains travaillent dans des équipes pour résoudre des problèmes complexes, les modèles d’IA peuvent se compléter les forces les uns des autres lorsqu’ils travaillent ensemble. Cela a des implications profondes pour les champs qui nécessitent un raisonnement approfondi, notamment:

• Découverte scientifique automatisée: Les collaborations de l’IA pourraient accélérer les percées dans la science des matériaux, la découverte de médicaments et la physique.
• Systèmes de tutorat avancé: Les approches de type MOSA pourraient rendre les assistants d’apprentissage alimentés par l’IA plus précis et plus utiles.
• Analyse juridique et financière: L’IA multi-agents pourrait améliorer l’analyse contractuelle, les prévisions financières et l’évaluation des risques en transformant les voies de raisonnement.

L’IA peut-elle se défendre contre ses propres erreurs?

L’un des aspects les plus prometteurs de Mosa est sa capacité à attraper et à corriger les erreurs. Les modèles d’IA uniques génèrent souvent des erreurs en toute confiance, ce qui les rend difficiles à détecter. Mais avec plusieurs agents d’IA en revue les uns des autres, les erreurs deviennent moins susceptibles de passer inaperçues. L’équipe de recherche a également introduit un agrégateur neuronalune fonction d’IA qui fusionne les meilleurs aspects de différents chemins de raisonnement vers une réponse finale plus raffinée.

Crédit d’image en vedette: Anderson Rian / Unsplash