Au Congrès mondial du mobile 2024, Qualcomm dévoile sa dernière avancée en matière de capacités d’IA pour les appareils mobiles avec l’intégration de la technologie LoRA AI dans le silicium de la série Snapdragon, méticuleusement conçu pour les téléphones Android. Parmi les fonctionnalités notables présentées pour le produit phare Snapdragon 8 Gen 3, Qualcomm a présenté des fonctionnalités d’IA extraordinaires, englobant l’édition multimédia à commande vocale, la génération d’images sur l’appareil utilisant la diffusion stable et un assistant virtuel enrichi exploitant de nombreux modèles de langage achetés auprès de leaders de l’industrie tels que comme Meta.
Qu’est-ce que LoRA ?
Qualcomm approfondit le domaine de la génération et de la manipulation créatives d’images avec l’introduction des modèles LoRA AI. Des démonstrations récentes de Qualcomm ont mis en évidence des réalisations révolutionnaires, telles que la réalisation du wla génération de texte en image la plus rapide au monde sur un smartphone grâce à la technologie de diffusion stable. Actuellement, la société propose un aperçu des capacités de génération d’images pilotées par LoRA.
LoRA, abréviation de Low-Rank Adaptation, présente une nouvelle approche de la génération d’images distincte des outils d’IA générative conventionnels comme DALL·E. Développé par Microsoft, LoRA répond aux défis inhérents associés à la formation de modèles d’IA, notamment les coûts élevés, les problèmes de latence et les exigences matérielles exigeantes.
Le principe fondamental de LoRA vise à réduire considérablement la complexité des modèles, minimisant ainsi l’utilisation de la mémoire et améliorant l’efficacité de la formation. En se concentrant sur des segments spécifiques du modèle et en optimisant le nombre de paramètres, LoRA rationalise le processus d’adaptation des modèles texte-image, ce qui entraîne des performances accélérées et une consommation de ressources réduite.
Au fil du temps, la technique de distillation LoRA a été parfaitement intégrée au modèle de diffusion stable pour générer des images à partir d’invites textuelles. Les gains d’efficacité inhérents et l’adaptabilité améliorée offerts par les modèles basés sur LoRA les rendent particulièrement adaptés au déploiement sur les smartphones, ce qui correspond à la vision de Qualcomm pour les expériences mobiles basées sur l’IA.
Alors que les modèles à diffusion stable sont reconnus pour leur capacité à produire des images et du texte haute fidélité, un inconvénient notable est la grande taille des fichiers, ce qui pose des problèmes de stockage et de distribution.. C’est là que LoRA apparaît comme une technique de formation essentielle, permettant d’affiner les modèles de diffusion stable tout en conservant des tailles de fichiers gérables.
Les modèles LoRA, caractérisés par leur taille compacte, représentent une avancée majeure dans l’optimisation des modèles. Ces modèles, qui sont essentiellement des versions raffinées des modèles de point de contrôle standard, offrent des tailles de fichiers considérablement réduites, allant de 2 à 500 Mo, offrant une solution pratique pour les utilisateurs recherchant un équilibre entre la taille du modèle et l’efficacité de la formation.
Paramètres de réglage précis de LoRA
Les modèles LoRA AI offrent une gamme de paramètres de réglage fin, permettant aux utilisateurs de personnaliser leurs sorties générées par l’IA en fonction de préférences et d’exigences spécifiques. Ces paramètres peuvent être classés en différents types, chacun répondant à des cas d’utilisation et à des objectifs distincts.
Créer des personnages spécifiques avec les modèles LoRA AI
Les modèles de personnages LoRA AI sont spécifiquement formés sur personnages individuels, comme ceux des dessins animés, des jeux vidéo ou d’autres médias. En exploitant les données d’entraînement spécifiques aux personnages, ces modèles excellent dans la reproduction précise de l’apparence et des caractéristiques uniques associées à chaque personnage.
L’application d’un modèle d’IA LoRA de personnage facilite la génération rapide de personnages dotés de traits authentiques, ce qui les rend idéaux pour les illustrations d’IA, les concepts artistiques de personnages et les fiches de référence. Selon la formation du modèle, il peut reproduire des personnages dans diverses tenues, coiffures ou expressions faciales. De plus, certains modèles de personnages LoRA AI permettent aux utilisateurs de placer les personnages sélectionnés dans de nouveaux contextes ou de nouvelles tenues, ajoutant ainsi une couche supplémentaire de polyvalence.
Les modèles Character LoRA AI englobent un large éventail de personnages de franchises populaires, ainsi que des personnages d’anime et de bandes dessinées. De plus, ces modèles peuvent être appliqués aux personnages originaux à condition que les données de formation soient suffisantes. Bien que des expériences avec des données d’entraînement inférieures soient en cours, il est généralement recommandé d’utiliser des modèles d’IA LoRA de personnages formés sur au moins 10 à 20 images différentes pour améliorer la diversité et la qualité des personnages générés.
Style constant avec les modèles LoRA AI
Les modèles Style LoRA AI se concentrent sur la capture et la réplication styles artistiques spécifiques plutôt que des personnages ou des objets individuels. Ces modèles sont généralement formés sur les œuvres artistiques d’un artiste particulier, permettant aux utilisateurs d’insuffler à leurs créations le style caractéristique de cet artiste.
La polyvalence des modèles de style LoRA AI réside dans leur capacité à appliquer différents styles artistiques, allant de l’esthétique des spectacles animés aux aquarelles et aux dessins au trait. En tirant parti de ces modèles, les utilisateurs peuvent imprégner leurs œuvres d’art générées par l’IA d’un style distinct et reconnaissable, les distinguant ainsi des productions conventionnelles.
Ce qui distingue les modèles LoRA AI de style est leur compatibilité avec les points de contrôle de diffusion stable standard, permettant aux utilisateurs de les intégrer de manière transparente dans leurs flux de travail créatifs. Par exemple, la combinaison d’un point de contrôle de réalisme avec un modèle LoRA AI de style peinture peut produire des images réalistes avec une touche picturale, démontrant le potentiel synergique de ces modèles.
Poses constantes avec les modèles LoRA AI
Présentation des modèles Pose LoRA AI, conçus pour manipuler avec précision les poses des personnages dans les scènes générées. Avec Pose LoRA AI, les utilisateurs peuvent créer sans effort des compositions dynamiques comportant des poses et des actions spécifiques, des scénarios qui sont souvent difficiles à réaliser grâce aux méthodes d’ingénierie rapides conventionnelles.
Contrairement aux autres modèles LoRA AI qui se concentrent sur le style ou les fonctionnalités, les modèles Pose LoRA AI donnent la priorité à l’articulation des poses des personnages. Par exemple, lorsqu’il est appliqué à un personnage humanoïde, un modèle Pose LoRA AI générera une variété de poses telles que courir, sauter ou s’asseoir, tout en préservant les caractéristiques, les vêtements et le style inhérents du personnage.
Les modèles Pose LoRA AI offrent aux utilisateurs un meilleur contrôle sur leurs scènes générées sans avoir besoin de solutions complexes comme ControlNet. En tirant parti de ces modèles, les utilisateurs peuvent insuffler du dynamisme et de l’intrigue à leurs créations grâce à de simples modifications de l’invite d’origine.
Styles de vêtements avec les modèles LoRA AI
Un autre outil indispensable dans l’arsenal des modèles LoRA AI est le vêtement LoRA. Ce modèle spécialisé est conçu pour modifier la tenue vestimentaire et les accessoires des personnages de manière transparente. Avec Clothing LoRA AI, les utilisateurs peuvent sans effort orner leurs personnages avec une pléthore de vêtements, allant des styles contemporains aux styles historiques.
L’un des avantages notables des modèles vestimentaires LoRA AI est leur universalité : ils peuvent être appliqués à n’importe quel personnage, permettant aux utilisateurs d’expérimenter un large éventail de styles et de designs en utilisant un seul modèle. Par exemple, les utilisateurs peuvent facilement créer des scènes mettant en scène des personnages vêtus de vêtements traditionnels indiens en appliquant un modèle vestimentaire choisi, réalisant ainsi une transformation esthétique culturelle instantanée.
Conception d’objets avec des modèles LoRA AI
La portée des objets pouvant être créés avec ces modèles dépend du modèle spécifique utilisé et de l’invite fournie par l’utilisateur. Modèles d’objets LoRA AI s’étendre au-delà des objets tangibles pour englober des éléments plus abstraits, tels que les éléments d’interface utilisateur (UI) pour les jeux ou les sites Web. Cette polyvalence s’avère inestimable pour créer des expériences visuelles cohérentes dans différents projets.
Les modèles d’IA Object LoRA sont des outils indispensables pour les artistes, les développeurs de jeux, les concepteurs de sites Web et autres professionnels de la création cherchant à générer efficacement des ressources conçues sur mesure. La possibilité de produire des objets avec des designs sur mesure permet aux utilisateurs d’explorer et d’expérimenter divers concepts visuels jusqu’à ce qu’ils trouvent la solution idéale pour leurs projets.
Trouver des modèles LoRA
Les modèles LoRA, connus pour leur légèreté et leur polyvalence, peuvent être facilement trouvés dans plusieurs référentiels open source tels que Civitai et Hugging Face. Accessibles à tous, ces modèles offrent une multitude de possibilités et peuvent être obtenus sans effort en quelques étapes simples. L’une des caractéristiques remarquables des modèles LoRA est leur taille compacte, qui ne dépasse souvent pas quelques mégaoctets, ce qui les rend exceptionnellement gérables et adaptables à diverses applications.
Installation des modèles LoRA
Après avoir sélectionné le(s) modèle(s) LoRA souhaité(s) à utiliser, l’étape suivante implique leur installation dans le répertoire approprié. Le processus peut varier en fonction de votre configuration spécifique. Bien que ce guide se concentre sur l’intégration des modèles LoRA avec l’interface utilisateur Web d’Automatic1111, il est conseillé de rechercher des instructions spécifiques à la plate-forme pour une intégration transparente.
Comment intégrer un modèle LoRA dans Automatic1111 ?
Avant d’incorporer les modèles que vous avez choisis dans l’interface Web d’Automatic1111, il est crucial d’installer l’extension LoRA elle-même. Quelle que soit la plateforme utilisée pour la génération d’images, l’installation de l’extension est une condition préalable. Voici un guide étape par étape pour installer l’extension pour Automatic1111 :
- Lancez l’interface utilisateur Web d’Automatic1111.
- Accédez au «Rallonges » onglet et sélectionnez « Installer à partir de l’URL» parmi les options disponibles.
- Collez le lien suivant dans le champ de saisie « URL du référentiel git de l’extension » : https://github.com/kohya-ss/sd-webui-additional-networks.git
- Clique sur le « Installer » pour lancer le processus d’installation.
- Transition vers le «installée » et sélectionnez l’onglet « Appliquer et redémarrer l’interface utilisateur« , permettant à l’interface utilisateur Web d’Automatic1111 de redémarrer.
En suivant ces étapes, vous observerez de nouveaux sous-dossiers dans votre répertoire « modèles », désignés pour stocker les modèles LoRA. Cependant, il est essentiel de configurer ce dossier pour permettre à l’interface utilisateur Web d’Automatic1111 d’y accéder.
- Ouvrez le « Paramètres» et accédez à la section « Réseaux supplémentaires ».
- Localisez le «Chemins supplémentaires à rechercher pour les modèles LoRA » champ de saisie.
- Collez le chemin du dossier correct, généralement trouvé dans le champ « stable-diffusion-webui/models/Lora» répertoire.
- Cliquer sur « Appliquer les paramètres» pour finaliser la configuration.
Bien que l’extension LoRA soit désormais installée, des étapes supplémentaires sont nécessaires pour lancer la génération d’images. Vous devez installer les modèles LoRA réels dans le dossier désigné.
Art tenseur vous permet de générer des images détaillées avec Stable Diffusion
Utilisation de modèles LoRA dans Automatic1111
Une fois votre modèle LoRA préféré installé, vous pouvez facilement commencer la création d’images. Voici un guide pour exploiter les modèles LoRA dans l’interface utilisateur Web d’Automatic1111 :
- Lancez l’interface utilisateur Web d’Automatic1111 et sélectionnez le modèle de point de contrôle souhaité.
- Assurez-vous d’inclure le mot déclencheur de la LoRA, le cas échéant, dans votre invite. Ce mot est généralement fourni dans la description du modèle ou sous le paramètre « Mots déclencheurs » sur Civitai.
- Sous le « Générer« , cliquez sur le bouton « Réseaux supplémentaires » et accédez à l’icône « Lorraineonglet « .
- Choisissez le modèle LoRA souhaité pour l’insérer dans votre invite.
- Ajustez le poids de la LoRA si nécessaire, en modifiant la valeur par défaut selon les exigences du modèle.
- Configurez vos paramètres de génération en conséquence.
- Clique le « Générer » pour lancer le processus de génération d’image.
Une fois terminé, vous observerez l’application du modèle LoRA à votre image générée, améliorant ainsi la spécificité et le caractère unique des concepts représentés. Investir du temps et des efforts dans la configuration des modèles LoRA donne des résultats remarquables, augmentant les possibilités créatives au sein de vos projets.
Crédits images : Kerem Gülen/Milieu du voyage
