La montée des modèles de grands langues (LLMS) et des modèles d’IA fondamentaux a révolutionné le paysage logiciel, offrant un immense potentiel aux ingénieurs de produits pour améliorer les expériences des utilisateurs. Mais comment les entreprises peuvent-elles tirer parti de cette technologie?
J’ai parlé avec Igor Luchenkovun ingénieur de produits d’intelligence artificielle qui a construit des infrastructures pour utiliser les LLM à grande échelle et a créé la plate-forme Hackathon Hackathonparty Pour mieux comprendre l’IA appliquée dans l’ingénierie des produits et rendre les utilisateurs heureux.
Définir l’IA dans les solutions SaaS
Luchenkov définit l’IA appliquée dans le contexte SaaS actuel comme centré sur des modèles fondamentaux dérivés de LLMS.
« Un modèle fondamental est un algorithme d’apprentissage automatique formé sur une quantité massive de données », a déclaré Luchenkov. «Ces modèles peuvent comprendre le texte, les images, le son et pratiquement toutes les entrées dans un domaine spécifique.»
Il souligne des exemples bien connus comme le GPT d’Openai et le Claude d’Anthropic, ainsi que des alternatives open source comme Deepseek R1, Mistral, Gemma et Llama. Les applications sont vastes, allant des chatbots et des outils de résumé des réunions pour la génération de code et les plateformes d’analyse de données alimentées par l’IA.
« Le spectre des cas d’utilisation possibles est très élevé et à déterminer », a déclaré Luchenkov.
Évaluer le besoin de l’IA appliquée
Luchenkov conseille une approche pragmatique de la mise en œuvre de l’IA.
«Tout d’abord, créez un produit qui fonctionne et apporte de la valeur aux clients. Faites-le sans IA », m’a dit Luchenkov. Cela permet une référence par rapport à laquelle comparer les initiatives de l’IA. La question clé devient alors: y a-t-il un bon cas d’utilisation pour l’IA?
« Nous recherchons des opportunités de produits où une prise de décision réfléchie et réfléchie est nécessaire », a déclaré Luchenkov. «L’accent devrait être mis sur l’automatisation des tâches et l’augmentation de la productivité des utilisateurs.»
Luchenkov illustre cela avec son travail à Clarifieroù AI alimente la préparation, la rédaction des e-mails et la résumé des transactions dans leur CRM.
« Nous avons pris un problème clair connu pendant des décennies dans l’espace (la relation client est un processus long et approfondi) et nous avons facilité la tâche avec l’IA », a déclaré Luchenkov. «Les entreprises doivent« identifier le problème qui a besoin d’un système intelligent pour être résolu et s’assurer que ce problème mérite d’être résolu. »
Il recommande également de consulter les règles de ML de Google pour obtenir des conseils sur la construction Systèmes AI / ML.
Considérations d’infrastructure cruciales
Luchenkov souligne que les applications d’IA appliquées sont, avant tout, des applications nécessitant des solutions aux défis traditionnels d’ingénierie logicielle tels que l’évolutivité, les temps de réponse, la surveillance et les alertes. Cependant, l’IA présente son propre ensemble de considérations.
« Vous devez rechercher la désintégration des performances du modèle, les changements de distribution de données et d’autres choses spécifiques à votre tâche particulière », a déclaré Luchenkov. L’observabilité est cruciale pour comprendre l’impact des changements de système sur les performances et les mesures commerciales. Les modèles fondamentaux présentent également des défis uniques, en particulier dans l’évaluation des réponses ouvertes.
Luchenkov cite l’exemple d’un modèle résumant le texte: « Comment savez-vous si LLM résume correctement un texte et ne fait pas les choses? » Des mesures comme le juge AI et la perplexité peuvent être utilisées, mais le choix spécifique dépend de la cas d’utilisation.
« De manière générale, évaluez et surveillez les mesures qui ont du sens pour votre tâche particulière », a déclaré Luchenkov.
Démocratiser l’utilisation de l’IA
Luchenkov estime que l’IA appliquée devrait être accessible à tous dans une organisation.
« L’IA est une marchandise de nos jours », a déclaré Luchenkov. La restriction de l’accès entrave l’innovation. Au-delà des équipes de produits, il suggère d’établir une équipe de R&D d’IA dédiée pour suivre les modèles et techniques émergents et explorer de nouveaux cas d’utilisation.
« L’objectif d’une telle équipe est de découvrir de nouveaux cas d’utilisation pour l’utilisation de l’IA dans le produit et d’innover dans divers domaines du produit », a déclaré Luchenkov.
Il recommande également les livres « Conception de systèmes d’apprentissage automatique » et « Ingénierie d’IA»Par Chip Huyen pour plus d’informations sur l’infrastructure et l’évaluation.
Atténuer les risques de l’IA
L’IA, formée sur de vastes ensembles de données contenant souvent des biais et une désinformation, comporte des risques inhérents. Luchenkov met en évidence le potentiel de l’IA pour générer des réponses nocives ou inappropriées, citant un chatbot suggérant un suicide.
« Tout précédent comme celui-ci est une tragédie pour les gens et une énorme perte de réputation pour l’entreprise », a déclaré Luchenkov.
Même les erreurs apparemment inoffensives, comme les réponses incorrectes du support client, peuvent endommager la confiance et conduire à une publicité négative. Il réitère l’importance d’un suivi et d’une évaluation constants pour assurer la performance et identifier les problèmes potentiels.
Répondre aux préoccupations de réputation
Luchenkov reconnaît le potentiel de dommages à la réputation dus à l’imprévisibilité de l’IA. Il souligne des exemples d’assistants d’IA faisant des déclarations bizarres ou générant des réponses biaisées.
« C’est pourquoi il est crucial d’avoir des garanties appropriées en place, comme le filtrage du contenu et la surveillance humaine », a déclaré Luchenkov.
Il note que la supervision humaine est essentielle dans des domaines sensibles comme les soins de santé, les finances et les services juridiques pour garantir l’exactitude, la conformité et la responsabilité éthique. L’objectif ultime, conclut Luchenkov, est «d’exploiter les avantages de la VIE tout en protégeant la réputation de votre entreprise et en maintenant la confiance des clients».
