Do not index
Do not index
Publish
Publish
ByteDance, l’éditeur de TikTok vient de partager les résultats de sa recherche pour améliorer l’efficacité et la rapidité de Stable Diffusion XL.
Développé par ByteDance, SDXL-Lightning est une technique innovante pour Stable Diffusion, optimisant les modèles de diffusion pour permettre une génération rapide et de haute qualité d'images à partir de texte.
SDXL-Lightning améliore considérablement la vitesse du processus et est capable de compléter la génération de texte en image en résolution 1024px en 8 étapes ou moins.
SDXL-Lightning en bref
- SDXL-Lightning est un modèle distillé à partir de SDXL 1.0 qui permet la génération d‘images en 1024x1024px en une fraction de seconde.
- La création du modèle s’appuie sur plusieurs optimisations et combine notamment les principes de distillations Progressives et Adversarial.
- Les modèle est disponible sur HuggingFace en 4 versions (8, 4, 2 et 1 inférence) sous forme de UNet complet mais aussi sous forme de LoRAs qui peuvent être combinés avec d’autres modèle/checkpoints.
- Une démo est également disponible et permet de générer des images avec SDXL-Lightning depuis son navigateur.
SDXL-Lightning
ByteDance n’a pas (encore) fait de communiqué de presse sur le lancement de SDXL Lightning et il y a encore peu d’information disponibles à son sujet en dehors du document de recherche partagé par l’équipe de chercheurs.
Vitesse et qualité
SDXL-Lightning combine les méthodes de distillation progressive et de distillation adversative pour adresser la lenteur et les coûts de calcul élevés des modèles de diffusion standard, tout en maintenant une génération d'images de haute qualité et diversifiée. Ce faisant, il résout notamment le problème de flou présent dans les méthodes de distillation traditionnelles.
Les tests effectués laissent en tous cas penser que SDXL-Lightning atteint un rapport qualité / vitesse sans précédents : la qualité des images est proche, si pas équivalente, à celle obtenue avec le modèle de base SDXL en seulement 8 étapes ou moins contre 32 pour le modèle de base. La qualité des images est aussi notablement meilleure qu’avec le modèle SDXL Turbo ou la technique LCM.
Le rendu en 8 étapes ou moins représente un énorme gain de vitesse et permet une génération quasi en temps réel comme le démontre cette vidéo partagée par Consumption sur Reddit :
D’après ses premiers résultats, il semble donc que SDXL-Lightning atteint ses objectifs et propose ce qui est, à ce jour, la meilleure combinaison de qualité et de vitesse dans la création d’images par IA générative.
Disponibilité et Licence
ByteDance partage sur HuggingFace 4 modèle distillés correspondant à la génération en 8, 4, 2 et 1 étapes sous forme de checkpoints. Ces modèles peuvent être utilisé pour une génération via la librairire Diffuser ou avec des interface comme ComfyUI pour lequel des workflows sont également partagés.
En complément, 4 LoRAs ont été ajouté et permettent d’appliquer les optimisations de SDXL-Lightning à d’autres checkpoints basé sur SDXL.
Ils permettent de générer des images dans différents style et de profiter de la vaste collection de modèles déjà existants et partagés par la communauté.
SDXL-Lightning est partagé avec une licence Open RAIL++-M qui, sans être complètement Open Source, permet néanmoins le partage, l’utilisation et la modification du modèle. Contrairement à SDXL Turbo, SDXL-Lightning peut être utilisé commercialement - ce qui lui donne un avantage de popularité face au modèle de Stability AI qui ne peut être utilisé commercialement que via abonnement.
Tester et utiliser SDXL-Lightning
SDXL-Lightning en ligne
Vous pouvez tester librement (et gratuitement) SDXL-Lightning en ligne sur les sites suivants :
- HuggingFace (8, 4, 2 and 1 step)
- Replicate (4 steps)
- Fastsdxl (4 steps)
SDXL-Lightning dans Fooocus
Les modèles SDXL-Lightning peuvent être facilement utilisés dans Fooocus est créant des presets qui définissent les paramètres de génération selon les recommandations de ByteDance.
Une implémentation de la génération en 4 étapes avec le LoRA est également disponible depuis la version 2.3.0 du 18 Mars 2024. Il suffit de choisir le mode de performance Lightning pour l’utiliser.
SDXL-Lightning dans ComfyUI
ByteDance a partagé des Workflows que vous pouvez importez pour utiliser les modèles et les LoRAs de SDXL-Lightning dans ComfyUI :
- Modèles 2-Step, 4-Step et 8-Step : Télécharger le workflow
- LoRA 2-Step, 4-Step et 8-Step : Télécharger le workflow
- Modèle 1 step : Télécharger le workflow
Ecris par
