Les LoRAs et leurs utilisations

Guide pour débutants sur les LoRAs et leur utilisation dans l'interface graphique AUTOMATIC1111

Les LoRAs et leurs utilisations
Do not index
Do not index
Publish
Publish
Êtes-vous prêts à découvrir une nouvelle technique pour enrichir votre collection de modèles tout en économisant de l'espace disque ?

Qu’est ce qu’un LoRA ?

Les LoRA, ou Low-Rank Adaptation, sont de petits modèles de Stable Diffusion qui apportent de légères modifications aux modèles standard (checkpoints). Ils sont généralement 10 à 100 fois plus petits, ce qui les rend très attrayants pour les personnes possédant une vaste collection de modèles.
Certains LoRA vous permettront d’ajouter un style spécifique à vos images tandis que d’autres vous donneront la possibilité de générer des images issues d’univers différents, tels que ceux de vos films, animes ou jeux vidéo favoris.
Dans cet article, nous allons explorer le monde fascinant des LoRA et vous montrer comment les utiliser pour créer vos images avec Stable Diffusion.

Comment fonctionnent les LoRAs ?

LoRA est une technique d'apprentissage pour l'ajustement fin des modèles de diffusion. Elle se distinguent des autres techniques d'apprentissage, telles que Dreambooth et l'inversion textuelle (textuel inversion en anglais, aussi appelée embedding), par un excellent compromis entre la taille du fichier et la puissance d'apprentissage.
Les fichier LoRAs parviennent en effet à réduire la taille du fichier sans perdre beaucoup de puissance d'apprentissage en s'attaquant aux couches d'attention croisée (cross-attention layers), qui sont les parties les plus cruciales des modèles de diffusion stables.
notion image
Les LoRAs décomposent les matrices de poids de ces couches en deux matrices de bas rang, ce qui permet de stocker beaucoup moins de nombres. Grâce à cette astuce, les fichiers LoRA sont beaucoup plus petits, tout en conservant une puissance d'apprentissage décente.

Où trouver des modèles LoRA ?

Si vous êtes déjà impatients de mettre la main sur des LoRA, Civitai et Hugging Face sont deux sources incontournables.
Civitai propose une large collection de modèles, de LoRAs et d’autres fichiers de fine tuning pour Stable Diffusion. N'oubliez pas d'y appliquer le filtre LoRA lors de vos recherche pour ne pas avoir d’autres type de fichier dans vos résultats.
⚠️
Il y a beaucoup de contenu pour adulte (NSFW) sur Civitai. Faites donc attention à activer le filtre NSFW si vous ne voulez pas voir ce type de contenu. (il est normalement activé par défaut)
Hugging Face, quant à lui, dispose d'une bibliothèque de modèles LoRA plus petite mais également variée. Vous pouvez y consulter une liste de LoRA sélectionnés ou y faire une recherche sur le terme LoRA.
N'hésitez pas à fouiller ces deux sites pour trouver des modèles correspondant à vos goûts et à vos projets.
https://civitai.com/login?ref_code=THO-FFZ

Comment utiliser les LoRAs ?

Dans cette partie de l’article, nous allons détailler comment installer et utiliser un LoRA avec Automatic1111, l’interface graphique la plus connue et la plus souvent utilisée pour débuter avec Stable Diffusion.
Mais les LoRAs peuvent évidemment être utilisés avec d’autres interface comme ComfyUI ou Fooocus (voir ci-dessous).
🔥
Fooocus est une interface alternative pour Stable Diffusion XL dont l’installation et la prise en main sont plus simples simple et qui permet également d’utiliser les LoRAs. → Apprenez Comment utiliser les LoRAs avec Fooocus dans notre tutoriel dédié.

Installation d'un LoRA

Maintenant que vous savez où dénicher des LoRAs, passons à leur installation dans l'interface graphique Automatic1111 (que vous pouvez installer avec nos tutos pour Windows, Mac ou Google Drive) ou utiliser en ligne avec Diffus.
C'est simple comme bonjour : placez simplement le fichiers du LoRA de dans le dossier stable-diffusion-webui/models/Lora de votre installation.

Utilisation d'un LoRA

Pour utiliser un LoRA dans AUTOMATIC1111, il faut utiliser l’expression suivante dans le prompt : <lora:filename:multiplier>
filename correspond au nom du fichier LoRA, sans l'extension (.pt, .bin, etc.), et multiplier est le poids appliqué au modèle LoRA, avec une valeur par défaut de 1.
Mais plutôt que de devoir retenir les noms de fichiers et la bonne syntaxe pour le LoRA, vous pouvez simplement cliquez sur le bouton "modèle", puis sur l'onglet "Lora". Vous verrez alors la liste des modèles LoRA installés (cliquez sur “Refresh” si ce n’est pas le cas).
Cliquez sur celui que vous souhaitez utiliser, et l’expression adéquate sera automatiquement ajoutée dans le prompt.
notion image
Et voilà ! Vous avez maintenant activé le LoRA pour la génération de votre prochaine image.

Conseils pour l'utilisation des LoRA

Ajustement du multiplicateur

Vous pouvez augmenter ou diminuer l'effet du modèle LoRA en ajustant la valeur du multiplicateur ( multiplier ). Si vous le réglez sur 0, cela revient à désactiver le LoRA. Plus le valeur sera élevée, plus l’influence du LoRA sur le résultat sera forte.

Mot-clefs déclencheurs

Certains LoRAs, entraînés avec Dreambooth, nécessitent un mot-clef déclencheur (Trigger Word) pour être utilisés. Vous trouverez généralement ce mot-clef sur la page de présentation du LoRA en question.

Utiliser plusieurs LoRAs

Comme pour les embeddings, vous pouvez utiliser plusieurs LoRA en même temps et les combiner en utilisant plusieurs expression de LoRA de votre prompt.

Syntaxe du prompt

Dans Automatic1111, l’expression du LoRA n'est pas considérée comme faisant partie du prompt. Elle sera supprimée une fois le LoRA appliqué. Cela signifie que vous ne pouvez pas utiliser la syntaxe avancée des prompt, comme par exemple [mot-clé1:mot-clé2: 0.8], avec les expression de LoRA.

Modèle (checkpoint)

Certains LoRA donnent de meilleurs résultats avec certains modèles (typiquement ceux qui dérivent du même modèle de base que celui à partir duquel il a été entrainé). En général, il vaut mieux utiliser soit le base model mentionner sur la fiche du LoRA, soit un des modèles conseillés par son créateur dans sa description.

Quelques LoRA populaires

Pour vous donner un aperçu de ce que les LoRAs peuvent accomplir, voici quelques exemples que j’ai particulièrement appréciés.

LoRA pour SDXL

LeLo - LEGO LoRA

Entrainé à l’aide de plus de 900 images de LEGO, ce LoRA est excellent pour générer tout et n’importe quoi en LEGO : figurine, bâtiments, constructions,…
notion image
notion image
notion image

Dressed Animals

Dressed Animals est le LoRA que vous voudrez utiliser pour générer des images plus ou moins photoréalistes avec des animaux habillés comme des humains.
notion image
notion image
notion image

Voxel XL

Voxel est un mot valise créé en contractant les mots volume et pixel. Ils sont en quelques sortent des pixels en 3D. C’est une méthode de rendu 3D particulière utilisée principalement pour la création des terrains dans des jeux vidéos comme Outcast. Ce LoRA génère donc des images en voxels, les pixels 3D.
notion image
notion image
notion image

ClassipeintXL

Ce LoRA mélange les inspirations de plusieurs peintre européens pour générer des peintures à l’huile dans un style classique (mais pas que) du plus bel effet.
notion image
notion image
notion image

LoRA pour SD 1.5

One Piece (Wano Saga)

Le fan de l’anime apprécieront ce LoRA qui permet de générer des images très similaire à celles du dessin animé. De base, ce LoRA permet aussi de générer des images des personnages de Luffy et Zoro. Son auteur propose aussi des LoRA de Nami et Nico Robin qui peuvent le compléter.
notion image
notion image
notion image

墨心 MoXin

Ce Lora se base sur des peinture à l’encre classiques de maitres Chinois. Il génère des illustrations agréables et variées avec beaucoup d’espace négatif et un aspect traditionnel.
Ce Lora donne notamment de très bons résultats avec le modèle GuoFeng3 de style chinois et antique.
notion image
 
notion image
notion image
 

DieselpunkAI

Un LoRA adapté à la génération d’images rétrofuturistes, dans un monde dérivée du steampunk mais avec des grosse machine au diesel - Un peu comme dans le Jeu de role Children of the Sun.
notion image
notion image
notion image

Dressed Animals

Un lora qui, comme son nom l’indique, a été conçu pour générer des images d’animaux habillés - ou des personnes à tête d’animal, c’est vous qui voyez…
notion image
notion image
notion image

SamDoesArts (Sam Yang)

Un LoRA conçu pour reproduire le style des illustrayion de Sam Yang tout en étant suffisament flexible pour produire diffèrents genres d’illustrations.
notion image
notion image
notion image
 

En résumé

Les LoRA sont de petits modificateurs de modèles qui permettent d'apporter des variations intéressantes à vos créations tout en économisant de l'espace disque.
Leur utilisation est simple et intuitive avec l'interface graphique Automatic1111.
N'hésitez pas à expérimenter avec ces modèles pour donner une nouvelle dimension à vos œuvres numériques.

Pour aller plus loin

Profitez de toute la puissance de SDXL sans rien installer et depuis n'importe quel ordinateur.

Stable Diffusion en Ligne

Créer avec Stable Diffusion

Ecrit par