Vous avez probablement remarqué que parfois, même les chatbots IA les plus avancés prennent un moment pour réfléchir. Ce léger retard constitue un ralentisseur fondamental dans leur fonctionnement. Maintenant, dans une nouvelle étude intitulée « FS-DFM : génération de texte long rapide et précise avec des modèles de langage de diffusion en quelques étapes« , une équipe de chercheurs d’Apple et de l’Ohio State University a présenté une nouvelle méthode qui brise cette barrière. La découverte la plus importante est leur modèle, FS-DFM, qui peut générer du texte de haute qualité jusqu’à 128 fois plus rapide que les modèles comparables. Cela est important car cela pourrait réduire considérablement la latence et le coût de calcul de l’IA, ouvrant ainsi la voie à des outils linguistiques véritablement en temps réel, réactifs et efficaces.
La lente marche du modèle autorégressif
Alors, quel est le problème avec l’IA actuelle ? La plupart des grands modèles de langage, comme ChatGPT, sont autorégressif. Éliminons le jargon. Pensez-y comme à un écrivain qui compose une phrase un mot à la fois. Pour choisir le mot suivant, ils doivent relire toute la phrase qu’ils ont écrite jusqu’à présent. Il s’agit d’un processus très méticuleux et précis, mais il est intrinsèquement séquentiel et donc lent. Vous ne pouvez pas écrire le dixième mot avant d’avoir écrit les neuf premiers. Une approche alternative consiste à utiliser modèles de diffusion. Ceux-ci fonctionnent plutôt comme un sculpteur commençant par un bloc de marbre et l’affinant. Ils génèrent tous les mots à la fois dans un état confus et absurde, puis les améliorent au fil de centaines, voire de milliers d’étapes itératives jusqu’à ce qu’un texte cohérent émerge. Cela permet un travail parallèle, mais le grand nombre d’étapes de raffinement le rend tout aussi lent.
Faire des pas de géant au lieu de petits pas
Le nouveau modèle d’Apple, FS-DFM, est conçu pour tirer le meilleur parti des deux mondes. Il s’agit d’un modèle de diffusion, mais on lui a enseigné une astuce astucieuse. Au lieu de faire mille petits pas prudents pour passer d’un fouillis aléatoire de mots à un texte fini, il apprend comment y parvenir en quelques pas de géant. Les chercheurs ont formé le modèle pour comprendre la destination finale d’un processus long et itératif et y accéder simplement directement. Les résultats sont frappants. Leur modèle peut produire un texte de même qualité qu’un modèle de diffusion standard qui prend 1 024 pas en juste 8 étapes. C’est là que le massif Accélération 128x vient de. Lorsqu’elle a été confrontée à d’autres modèles de diffusion puissants, comme LLaDA-8B et Dream-7B, et contrainte à un scénario à faible nombre de pas, la concurrence a faibli, produisant souvent un charabia répétitif, tandis que FS-DFM a généré un texte cohérent et de haute qualité. Bien qu’il s’agisse encore d’un document de recherche, les implications sont importantes. Un modèle cent fois plus efficace n’est pas seulement une amélioration mineure ; cela pourrait potentiellement changer la donne. Cela pourrait conduire à des assistants IA qui répondent instantanément, à des outils d’écriture créative capables de générer de longs passages en un clin d’œil, et à une réduction spectaculaire des immenses coûts énergétiques et informatiques associés à l’exécution de ces modèles massifs. Les chercheurs prévoient de publier leur code et leurs modèles de points de contrôle, invitant ainsi la communauté au sens large à s’appuyer sur leur travail. La prochaine fois que vous attendrez qu’une IA finisse de taper sa réponse, sachez que les chercheurs travaillent à lui apprendre à sprinter plutôt qu’à ramper.
