CreaPrompt Lightning

Do not index

Publish

Parmi les nombreux modèles SDXL disponibles, beaucoup se ressemblent et il est parfois difficile de choisir lequel utiliser. De temps en temps, un modèle sort du lot et se démarque nettement.

C’est le cas de CreaPrompt Lightning, une création française qui allie à la fois vitesse et qualité pour la génération d'images photoréalistes, tout en proposant des fonctionnalités supplémentaires. Un modèle unique qui offre une solution complète pour ceux qui recherchent une génération d’images rapide et précise, en fournissant des résultats impressionnants dans un large éventail d'applications.

📰

Mise à jour du 7 Mai 2024 :

Une variante basée sur Hyper-SD CFG Preserved est maintenant disponible. L’article a été mis à jours pour la prendre en compte.

Qu’est ce que CreaPrompt Lightning ?

CreaPrompt Lightning est un modèle fine-tunné de type Merge - c’est à dire que c’est un modèle créé en fusionnant plusieurs modèles et LoRAs. C’est une technique qui permet, en réglant l’importance des diffèrent modèles sources, d’obtenir un nouveau modèle qui reprend des caractéristiques des modèles d’origines.

C’est la création de Jice, un créateur belge bien connu de la communauté Stable Diffusion FR sur Facebook. Le même Jice qui est derrière l’extension pour automatic1111, Creaprompt, qui permet de générer ou enrichir les prompts aléatoirement.

Il a créé CreaPrompt Lightning pour obtenir un modèle qui offre un maximum de réalisme photographique tout en restant le plus polyvalent possible. Beaucoup de modèles photoréalistes ont en effet du mal dès qu’il s’agit de varier un peu les styles et d’obtenir des images plus proches des univers ou du style de l’anime, du cartoon ou de la fantasy.

Lightning ou Hyper-SD ?

A l’origine, CreaPrompt Lightning a été créé en intégrant directement la méthode SDXL Lightning pour une génération d’image de qualité en seulement quelques étapes (d’où son nom).

Dès la sortie de Hyper-SDXL, Jicé a commencé à intégrer cette autre méthode de génération hyper-rapide dans son modèle. Suite à la publication d’une nouveau LoRA Hyper-SD CFG preserved qui permet de conserver un CFG plus élévé, Jicé l’a également intégrée.

Il existe donc trois variantes de CreaPrompt Lightning : La variante Lightning et deux variantes Hyper (normale et CFG). On reconnait les reconnait à l’utilisation des noms “Hyper” et “Hyper_CFG” dans les noms complets. Chaque variante a plusieurs versions qui sont autant de petites améliorations ou évolution du modèle.

Bien que les variantes et versions se ressemblent et donnent des résultat plutôt similaires, elles restent différentes et certains utilisateurs préféreront l’une ou l’autre. Pour la variante Hyper, la dernière version, la 1.2 est fortement recommandée car elle corrigent plusieurs défauts. Pour la version Lightning, certains préfèrent la 1.2 à la dernière 1.3 - Ce sera à vous de vous faire votre avis après les avoir testés.

Sauf mention contraire, les image illustrant cet article ont été générées avec CreaPrompt Lightning Hyper 1.2

Installer CreaPrompt Lightning

Creaprompt Lightning est un modèle complet, un checkpoint, qui s’utilise donc comme modèle principal pour la génération d’image avec Stable Diffusion.

Les différentes versions et variable du modèle sont partagées sur Civitai où vous pouvez les télécharger gratuitement.

CreaPrompt Lightning 1.3 (SDXL Lightning)

CreaPrompt Lightning Hyper 1.2 (Hyper-SDXL)

CreaPrompt Lightning Hyper-CFG (Hyper-SDXL CFG preserved)

Une fois le fichier .safetensor récupéré, il suffit de l’enregistrer dans le repertoire /checkpoints de votre interface favorite (A111, Fooocus, ComfyUI,…).

CreaPrompt Lightning est aussi disponible dans les moteurs de recherche de modèle de Stability Matrix et de Diffus en et vous pouvez donc l’y installer d’un simple clic si vous utilisez l’un ou l’autre

Utiliser CreaPrompt Lightning

Paramètres conseillés

Jice recommande de commencer avec les paramètres repris ci-contre.

Avec la variante Hyper-SDXL, des résultat qualitatifs et très rapide peuvent être obtenus en utilisant seulement 3 inférence et en maintenant le CFG Scale très bas (1,5 ou moins) avec le sampler DPM++ SDE et le scheduler Karras.

Pour plus de qualité, vous pouvez aussi monter le nombre d’étapes à 11 en passant sur le sampler DPM++ SD a.

La variantes SDXL-Lightning utilisera d’autres paramètres (voir c-contre).

👌

Paramètres CreaPrompt Lightning

Base Lightning

sampler : DPM++ SDE Karras
num_inference_steps : 4 à 7
cfg_scale : 1 à 3

Base Hyper (vitesse)

sampler : DPM++ SDE Karras
num_inference_steps : 3
cfg_scale : 1 à 1.5

Base Hyper (qualité)

sampler : DPM++ 2S a Karras
num_inference_steps : 11
cfg_scale : 1 à 1.5

Base Hyper CFG

sampler DPM++ SDE Karras
num_inference_steps : 6
cfg_scale : 3

Dans tous les cas, ces paramètres doivent servir de point de départ. Jicé conseille surtout de faire des tests et de ne pas hésiter à les faire varier selon les images qu’on essaye de créer.

Par exemple, certains utilisateurs préfèrent les résultats obtenus en 4 étapes en changeant à peine les autres paramètres. Et il est également possible d’obtenir des résultats un peu différents avec le sampler DPM++ 2M en l’utilisant comme un modèle SDXL classique avec 25 ou 30 steps.

Une image en 3 steps avec DPM++ SDE Karras

Mêmes prompt et seed en 30 steps avec DPM++ 2M

La variante Hyper-CFG fonctionne également en équilibrant le nombre de de steps et le CFG : il est en effet possible de monter le CFG jusqu’à 5,5 en passant à 8 steps.

🔗

Pour en savoir plus sur le paramètre CFG, sa signification et son importance, consulter le Guide du CFG Scale

Photoréalisme

Creaprompt Lightning visant avant tout le photoréalisme, il fusionne entre autres plusieurs modèles et LoRA qui vont en ce sens - et est donc capables de reconnaitre pas mal de terme issus de l’univers de la photographie qui peuvent fortement influencer vos images (et leur qualité).

La plupart des conseils de l’article sur portraits photoréalistes avec SDXL s’appliquent donc à l’utilisation de ce modèle pour créer des photos de ce genre : mots clefs photo (éclairage, appareil, focale, film,…), texture de la peau, regard,…

Voici quelques exemples qui montrent comment de tels mots clefs peuvent changer et améliorer vos images avec Creaprompt (toujours en 3 étapes).

Photorealistic ?

C’est un mot clef qu’on voit souvent utilisé dans des prompt et qui semble avoir du sens puisqu’il désigne le résultat qu’on veut obtenir : une photoréaliste (Photoirealistic).

Pourtant, si il y a bien un type d’image qui n’est jamais décrit comme photoréaliste, ce sont justement les photos - puisque ce sont des photos, il n’est pas nécessaire de préciser qu’elles sont photoréalistes. En réalité, on l’utilisera plus volontier pour des rendus 3D ou des illustration qui se démarquent par leur ressemblance avec des vraies photo…

Du coup, j’ai tendance à dire que ce n’est pas un mot clef utile pour obtenir des photos avec SDXL. Mais ce mot clef a peut-être été utilisé lors du fine-tuning des différents modèle fusionnés dans Creaprompt Lightning.

Faisons quelques tests et comparaisons pour voir ce qu’il en est.

Si sur le premier test le mot photorealistic a un effet conséquent, les autres tests sont plus mitigés. Je serai donc peut être moins catégorique quand à l’utilité de ce mot clef avec Creaprompt Lightning mais je pense quand même qu’il y a probablement d’autres expressions et mot clefs comme Award Winning Photography, 8K ou même Masterpiece qui donneront de meilleurs résultats.

Eclairage

Par contre, les mots clefs d’éclairage se révèlent particulièrement importants avec ce modèle. En voici donc quelques que j’ai pu tester et apprécier. Les différences ne sont pas toujours très fortes, mais ne pas mentionner d’éclairage donne certainement un moins bon résultat que d’en choisir un.

Paramètres de départ

Pretty eyes,beautiful woman,French twist,Blue black, abandoned mansion, looking away, Canon EF

Negative prompt: (worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch)

Steps: 3, Sampler: DPM++ SDE Karras, CFG scale: 1.5, Seed: 2718015416, Size: 1216x832

Autres Styles

Même si il est optimisé pour le photoréalisme, Creaprompt Lightning est conçus pour pouvoir créer tous types d’images et il est donc possible de générer des images d’un tout autre genre avec.

Je l’ai ainsi testé en adaptant des prompts utilisant différents Styles SDXL pour confirmer ses capacités :

Par sûr qu’il soit aussi bon qu’un modèle fine-tuné pour ces autres genre, mais Creaprompt Lightning s’en sort donc plutôt pas mal avec différents styles et reste un bon modèle généraliste. Et ce, sans compter sur l’utilisation possible de LoRAs complémentaires.

Prompt négatif

La génération rapide, que ce soit avec la variante hyper ou la variante lightning, requiert en général d’utiliser une échelle CFG plutôt basse. Hors, il faut savoir qu’avec un CFG à 1 ou moins, le prompt négatif est complètement ignoré.

L’usage du prompt négatif n’est donc pas vraiment recommandé avec Creaprompt Lightning - sauf à utiliser la variante CFG Preserved qui permet de le monter sensiblement plus haut.

Pour utiliser des prompts négatif, conservez donc un CFG d’au moins 1,5 pour qu’il soit pris en compte ou passer au modèle Hyper-CFG pour pouvoir l’augmenter encore.

ADetailer pour les visages

En 3 étapes, les visages (et particulièrement les yeux) laissent parfois à désirer.

Pour cela, Jice recommande d’utiliser ADetailer avec les paramètres ci-dessous pour améliorer le résultat. Cela demande un peu plus de temps de génération, mais le résultat en ressort souvent nettement meilleur.

Paramètres ADetailer

Inpaint mask blur : 4

Inpaint denoising strength : 0,4

Inpaint only masked : Oui

User separate strps : Oui

ADetailer steps : 6

Inpaint width : 1200

Inpaing height : 900

Utilisation des LoRAs

Comme d’autres modèles basé sur SDXL, même en intégrant SDXL-Lightning ou Hyper-SDXL, Creaprompt Lightning reste compatible en avec la plupart des LoRAS.

Que ce soit pour introduire de nouveaux personnages, des concepts ou des styles différents, les LoRAs sont une bonne manière d’étendre les capacités du modèle.

Au final, CreaPrompt Lightning se distingue par son équilibre vitesse / qualité et son efficacité, proposant une expérience complète pour les créateurs en quête de photoréalisme ou d'autres styles artistiques. C'est un modèle flexible qui devrait satisfaire les amateurs de génération d'images de qualité.