SDXL-Lightning

La génération d’images à la vitesse de l’éclair

SDXL-Lightning
Do not index
Do not index
Publish
Publish
ByteDance, l’éditeur de TikTok vient de partager les résultats de sa recherche pour améliorer l’efficacité et la rapidité de Stable Diffusion XL.
Développé par ByteDance, SDXL-Lightning est une technique innovante pour Stable Diffusion, optimisant les modèles de diffusion pour permettre une génération rapide et de haute qualité d'images à partir de texte.
SDXL-Lightning améliore considérablement la vitesse du processus et est capable de compléter la génération de texte en image en résolution 1024px en 8 étapes ou moins.
SDXL-Lightning en bref
  • SDXL-Lightning est un modèle distillé à partir de SDXL 1.0 qui permet la génération d‘images en 1024x1024px en une fraction de seconde.
  • La création du modèle s’appuie sur plusieurs optimisations et combine notamment les principes de distillations Progressives et Adversarial.
  • Les modèle est disponible sur HuggingFace en 4 versions (8, 4, 2 et 1 inférence) sous forme de UNet complet mais aussi sous forme de LoRAs qui peuvent être combinés avec d’autres modèle/checkpoints.
notion image

SDXL-Lightning

ByteDance n’a pas (encore) fait de communiqué de presse sur le lancement de SDXL Lightning et il y a encore peu d’information disponibles à son sujet en dehors du document de recherche partagé par l’équipe de chercheurs.

Vitesse et qualité

SDXL-Lightning combine les méthodes de distillation progressive et de distillation adversative pour adresser la lenteur et les coûts de calcul élevés des modèles de diffusion standard, tout en maintenant une génération d'images de haute qualité et diversifiée. Ce faisant, il résout notamment le problème de flou présent dans les méthodes de distillation traditionnelles.
Les tests effectués laissent en tous cas penser que SDXL-Lightning atteint un rapport qualité / vitesse sans précédents : la qualité des images est proche, si pas équivalente, à celle obtenue avec le modèle de base SDXL en seulement 8 étapes ou moins contre 32 pour le modèle de base. La qualité des images est aussi notablement meilleure qu’avec le modèle SDXL Turbo ou la technique LCM.
notion image
Le rendu en 8 étapes ou moins représente un énorme gain de vitesse et permet une génération quasi en temps réel comme le démontre cette vidéo partagée par Consumption sur Reddit :
SDXL Lightning 4 Steps Real time
D’après ses premiers résultats, il semble donc que SDXL-Lightning atteint ses objectifs et propose ce qui est, à ce jour, la meilleure combinaison de qualité et de vitesse dans la création d’images par IA générative.

Disponibilité et Licence

ByteDance partage sur HuggingFace 4 modèle distillés correspondant à la génération en 8, 4, 2 et 1 étapes sous forme de checkpoints. Ces modèles peuvent être utilisé pour une génération via la librairire Diffuser ou avec des interface comme ComfyUI pour lequel des workflows sont également partagés.
En complément, 4 LoRAs ont été ajouté et permettent d’appliquer les optimisations de SDXL-Lightning à d’autres checkpoints basé sur SDXL.
Ils permettent de générer des images dans différents style et de profiter de la vaste collection de modèles déjà existants et partagés par la communauté.
notion image
SDXL-Lightning est partagé avec une licence Open RAIL++-M qui, sans être complètement Open Source, permet néanmoins le partage, l’utilisation et la modification du modèle. Contrairement à SDXL Turbo, SDXL-Lightning peut être utilisé commercialement - ce qui permet lui donner un avantage de popularité face au modèle de Stability AI qui ne peut être utilisé commercialement que via abonnement.

Tester et utiliser SDXL-Lightning

Vous pouvez tester librement (et gratuitement) SDXL-Lightning en ligne sur les sites suivants :
Les modèles et les LoRAs peuvent également être utilisés directement dans ComfyUI en utilisant les workflows partagé par l’équipe de ByteDance (cliquez sur l’image).
notion image
 

Profitez de toute la puissance de SDXL sans rien installer et depuis n'importe quel ordinateur.

Stable Diffusion sur le Cloud

Créer avec Diffus

Ecris par