Stable Diffusion 3.5 ControlNets
Un Contexte Concurrentiel dans l'IA Générative
Stability AI vient de lancer les ControlNets pour Stable Diffusion 3.5 Large, une mise à jour qui apporte de nouvelles fonctionnalités de contrôle dans la génération d'images par intelligence artificielle.
Cette annonce s'inscrit dans un contexte de compétition intense entre les acteurs du secteur de l'intelligence artificielle générative, faisant suite de près aux récentes innovations de Black Forest Labs avec leurs Flux Tools.
Trois nouveaux ControlNets
Stability AI a publié trois ControlNets principaux, chacun offrant des capacités de contrôle spécifiques :
- Blur Control : Permet une mise à l'échelle haute résolution jusqu'à 8K et 16K, particulièrement utile pour améliorer les images de basse résolution.
- Canny Control : Utilise des cartes de contours pour structurer la génération d'images, offrant une flexibilité intéressante pour les illustrations.
- Depth Control : Exploite les cartes de profondeur pour des rendus architecturaux et la texturation d'assets 3D.
Performances et Caractéristiques Techniques
Côté performances, le modèle a été soumis à des tests comparatifs impliquant environ 150 participants, où il s'est classé premier parmi les modèles similaires. Le modèle principal, Stable Diffusion 3.5 Large, compte 8,1 milliards de paramètres, avec des ControlNets optimisés pour une force de contrôle entre 0,7 et 0,8, et une recommandation d'utiliser l'échantillonneur Euler avec 50-60 étapes.
Modèle et Licensing
Du point de vue de l'accessibilité, Stability AI propose la même licence que le modèle principal Stable Diffusion 3.5 Large : gratuit pour un usage non-commercial et pour les entreprises réalisant moins de 1 million de dollars de revenus annuels. Les utilisateurs conservent également la totalité des droits sur les contenus générés.
Disponibilité et Installation
Pour les développeurs et créateurs intéressés, les ControlNets sont disponibles sur HuggingFace et peuvent être intégrés via ComfyUI.
L'utilisation sur ComfyUI nécessite une mise à jour et le téléchargement des fichiers safetensors correspondants pour chaque type de ControlNet comme expliqué sur le blog de comfy.org :
Étapes :
- Télécharger les fichiers .safetensors
- Placer dans le dossier
models\controlnet
Prérequis :
- Dernière version de ComfyUI
- Checkpoint SD 3.5 Large
Perspectives d'Avenir
Stability AI annonce déjà le développement de modèles supplémentaires, incluant des variantes pour Stable Diffusion 3.5 Medium (2 milliards de paramètres) et de nouveaux types de contrôles. L'objectif affiché reste de démocratiser les outils de génération d'images professionnels.
Bien que prometteuse, cette version ne constitue pas une révolution technologique mais représente une amélioration incrémentale dans le domaine de la génération d'images par intelligence artificielle.
Ecrit par
