Mistral AI a annoncé la sortie de sa nouvelle API de modération de contenu. Cette API, qui alimente déjà le chatbot Le Chat de Mistral, est conçue pour classer et gérer les textes indésirables selon diverses normes de sécurité et applications spécifiques. L’outil de modération de Mistral exploite un modèle linguistique affiné appelé Ministral 8B, capable de traiter plusieurs langues, dont l’anglais, le français et l’allemand, et de catégoriser le contenu en neuf types distincts : contenu sexuel, haine et discrimination, violence et menaces, dangereux ou criminel. activités, automutilation, informations sur la santé, financières, juridiques et personnellement identifiables (PII).
L’API de modération est polyvalente, avec des applications pour le texte brut et les messages conversationnels. « Au cours des derniers mois, nous avons constaté un enthousiasme croissant au sein de l’industrie et de la communauté de recherche pour les nouveaux systèmes de modération basés sur l’IA, qui peuvent contribuer à rendre la modération plus évolutive et plus robuste entre les applications », a déclaré Mistral dans un récent article de blog. L’entreprise décrit son approche comme « pragmatique », visant à gérer les risques liés aux préjudices générés par le modèle, tels que les conseils non qualifiés et les fuites d’informations personnelles, en appliquant des directives de sécurité nuancées.
L’API de modération répond aux problèmes de biais et aux besoins de personnalisation
Les systèmes de modération de contenu basés sur l’IA offrent un potentiel de gestion de contenu efficace et évolutif, mais ils ne sont pas sans limites. Les systèmes d’IA similaires ont toujours été confrontés à des biais, en particulier dans la détection des styles de langage associés à certaines données démographiques. Par exemple, des études montrent que les modèles linguistiques signalent souvent les phrases en anglais vernaculaire afro-américain (AAVE) comme étant toxiques de manière disproportionnée, et qualifient par erreur les publications traitant du handicap de trop négatives.
IA générative vs IA prédictive: Comparaison complète
Mistral reconnaît les défis liés à la création d’un outil de modération impartial, affirmant que même si son modèle de modération est très précis, il continue d’évoluer. La société n’a pas encore comparé les performances de son API à des outils établis tels que l’API Perspective de Jigsaw ou l’API de modération d’OpenAI. Mistral vise à affiner son outil grâce à une collaboration continue avec les clients et la communauté de recherche, déclarant : « Nous travaillons avec nos clients pour créer et partager des outils de modération évolutifs, légers et personnalisables. »
L’API Batch réduit les coûts de traitement de 25 %
Mistral a également introduit une API par lots conçue pour le traitement de gros volumes de demandes. En traitant ces requêtes de manière asynchrone, Mistral affirme que l’API par lots peut réduire les coûts de traitement de 25 %. Cette nouvelle fonctionnalité s’aligne sur les options de traitement par lots similaires proposées par d’autres sociétés technologiques comme Anthropic, OpenAI et Google, qui visent à améliorer l’efficacité des clients gérant des flux de données importants.
L’API de modération de contenu de Mistral vise à être adaptable à une gamme de cas d’utilisation et de langues. Le modèle est formé pour gérer du texte dans plusieurs langues, notamment l’arabe, le chinois, l’italien, le japonais, le coréen, le portugais, le russe et l’espagnol. Cette capacité multilingue garantit que le modèle peut traiter les contenus indésirables dans différentes régions et contextes linguistiques. L’outil de Mistral propose deux points de terminaison adaptés soit au texte brut, soit aux contextes conversationnels, répondant aux divers besoins des utilisateurs. La société fournit une documentation technique détaillée et des références permettant aux utilisateurs d’évaluer les performances du modèle.
Alors que Mistral continue d’affiner son outil, l’API offre un niveau de personnalisation unique, permettant aux utilisateurs d’ajuster les paramètres en fonction de normes de sécurité de contenu spécifiques.
Crédit image en vedette : Mistral
