Comment utiliser les LyCORIS avec Stable Diffusion ?

Do not index

Publish

Vous avez probablement entendu parlé des LoRA pour Stable Diffusion - et peut-etre même les utilisez vous déjà. Mais connaissez vous les LyCORIS ? Ce sont d'excellentes alternatives aux LoRA.

Dans cet article, vous apprendrez ce qu'ils sont, où les télécharger et comment les utiliser.

LyCORIS, l’alternative aux LoRA

Qu'est-ce qu'un LyCORIS ?

LyCORIS signifie Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion (Oui, c'est asser long et obscure comme nom).

Semblables aux LoRAs, il s'agit en fait d'une collection de méthodes différentes permettant d'apporter de petites modifications à un modèle comme Stable Diffusion.

Avec les LyCORIS, vous pouvez ajouter ou modifier le modèle Stable Diffusion pour lui apprendre de nouveaux éléments comme :

Des personnages (célébrités, personnages fictifs,…)

Des styles graphiques ou des designs

Des vêtements spécifiques

Des type d’arrière-plan

De nouveaux objet comme des voitures, des bâtiments,…

Des animaux ou des créatures fantastiques.

Quelle différences entre LoRA et LyCORIS ?

Les LyCORIS et les LoRA visent tous à apporter de légères modifications à un modèle Stable Diffusion à l'aide d'un petit fichier. Techniquement, ils modifient le U-Net par décomposition matricielle - mais les approches diffèrent entre LyCORIS et LoRA.

LoRA est en fait la méthode originale qui modifie la couche d’attention croisée du U-Net, en stockant efficacement les nouveaux poids : au lieu de stocker des matrices entières, un LoRA fais une approximation d’une grande matrice en deux matrices de faible rang beaucoup plus petites.

L'avantage de cette méthode est qu'elle permet de réduire le nombre de paramètres. Par exemple, si la matrice d'origine a une dimension de 1 000 sur 2 000, vous avez besoin de 2 000 000 de paramètres. Mais en utilisant un rang de 10, LoRA n'a besoin que de 1 000 x 10 + 2 000 x 10 = 30 000 paramètres. C'est plus de 60 fois moins !

C'est pour cela que les LoRA sont si petits. Ils ne stockent que la différence de poids par rapport au modèle de départ et et ne modifie que les couches d'attention croisée de son U-Net.

Le nom LyCORIS désigne une collection de méthodes similaires à celle des LoRA mais avec leur propres spécificités. Les plus connues de ces méthodes sont les LoCon, LoHa, LoKR, et DyLoRA.

LoCon : LoCon (LoRA pour réseau de convolution) est une extension de LoRA. En plus de la couche d'attention croisée, Les LoCon modifient également les couches de convolution. Par rapport à un LoRA, il modifie plus de parties du modèle, ce qui lui fait gagner en puissance.

LoHa : LoHa (LoRA avec représentation du produit Hadamard) est une autre méthode LyCORIS. Elle est inspirée de FedPara, une méthode d'apprentissage fédéral.

La méthode LoHa n'a cependant rien à voir avec l'apprentissage fédéral lui-même, elle utilise uniquement sa méthode d'approximation de bas rang. Elle décompose une grande matrice en quatre matrices de faible rang. D’une certaines façon, un LoHa contient deux LoRA en les combinant par produit de Hadamard (multiplication bit à bit).

LoKR : LoKR (LoRA avec représentation du produit Kronecker) est à peu près la même chose que LoHA, sauf qu'elle utilise la méthode de produit Kronecker.

DyLoRA : DyLoRA (Dynamic LoRA) est une manière différente de former un LoRA. L'avantage est que le rang peut être facilement modifié.

Je ne suis pas sûr de comprendre quelle est la différence entre LoRA et LyCORIS ?

Un modèle de type LyCORIS est généralement plus expressif que LoRA. Ils peuvent en effet changer davantage le modèle de départ. En prtique, il s’utilise pratiquement de la même manières.

Générer des images avec les LyCORIS

Où trouver des LyCORIS ?

Civitai héberge la plus grande collection de modèles LyCORIS pour Stable Diffusion.

Pour y chercher des LyCORIS, sélectionnez Models dans le menu de navigation puis activez le filtre Lycoris.

https://civitai.com/login?ref_code=THO-FFZ

Comment utiliser les LyCORIS ?

Logiciels pour utiliser les LyCORIS

AUTOMATIC1111 Web-UI est un logiciel Stable Diffusion gratuit et populaire pour utiliser les modèles Lycoris. Vous pouvez utiliser cette interface graphique sur Windows, Mac ou même sur Google Colab. Elle supporte les LyCORIS depuis la version 1.5.

Diffus : Il s’agit d’une solution d’hébergement de Stable Diffusion et de la Web-UI sur le cloud. (→ En savoir plus)

ComfyUI est une autre interface populaire pour Stable Diffusion qui permet d’utiliser les LyCORIS.

Fooocus permet également d’utiliser les LyCORIS très simplement puisqu’ils y fonctionneent exactement comme les LoRAs.

Télécharger un LyCORIS

Pour utiliser un LyCORIS, il suffit de télécharger son fichier et de l’ajouter son fichier au même endroits que les fichiers de LoRA pour le logiciel choisis - Automatic1111 et ComfyUI reconnaissent en effet tous les types de LoRA et LyCORIS enregistré dans leur repertoire /lora

Sur Diffus, vous devez ouvrir la librairie de modèles (Browse All Models), cliquez sur le tab LyCORIS/LoCon et enfin cliquez sur le bouton Upload Model. Alternativement, vous pouvez également faire une recherche directement dans la librairie de Diffus - un très grand nombre de LyCORIS repris sur Civitai y sont disponibles.

Utiliser le LyCORIS

Une fois le fichier accessible à votre logiciel, vous pouvez l’utiliser pour votre génération d’image.

Avec Automatic1111 (et Diffus)

Cliquez sur le bouton Extra Networks sous le bouton Generate.

Sélectionnez l'onglet Lora.

Cliquez sur Refresh si vous ne voyez pas votre modèle. Seuls les modèles compatibles avec le modèle de point de contrôle sélectionné s'affichent (voir ci-contre).

Cliquez sur LyCORIS choisis. Le texte <lora:MODEL_NAME:1> doit être ajoutée au prompt.

Ajustez éventuellement le chiffre 1 dans la phrase Lora pour aumgmenter ou diminuer l’influence du LyCORIS.

Appuyez sur Generate pour créer votre images.

⚠️

Compatibilité des LyCORIS

Un LyCORIS doit être utilisé avec un modèle checkpoint. Chaque LyCORIS ne peut fonctionner qu'avec une version spécifique du modèle : v1.5, V2 ou SDXL

Avec ComfyUI

Ajouter un node LoraLoader à votre workflow et selectionnez-y le LyCORIS choisis.

Les LyCORIS sont un outil puissant pour la création d'images avec Stable Diffusion. Ils peuvent être utilisés pour modifier le style, les vêtements, l'arrière-plan, les objets et les animaux dans une image. Ils s’utilisent de la même manière que les LoRA et peuvent être plus efficaces et plus expressifs qu’eux. N’hésitez donc pas à les essayer pour la génération de vos images.

Les LyCORIS pour Stable Diffusion