Stable Diffusion, c’est quoi ?

Do not index

Publish

Stable Diffusion, qu’est ce que c’est ?

Stable Diffusion est une intelligence artificielle qui peut créer des images à partir de descriptions écrites.

C'est un peu comme si vous aviez une image dans votre tête et que vous vouliez la montrer à quelqu'un d'autre alors que vous ne savez pas dessiner. Vous pouvez expliquer avec des mots à quoi ressemble cette image à Stable Diffusion qui va créer une image qui correspond à cette description pour vous.

Comment ca marche ?

Le modèle de diffusion latent, comme utilisé dans Stable Diffusion, peut être comparé à un chef cuisinier qui a appris à préparer de nombreux plats différents grâce à ses années d'expérience et à ses nombreuses heures de formation. Il a appris à reconnaître les différents ingrédients qui composent chaque plat et à savoir comment les utiliser pour créer de délicieux mets.

En effet, le modèle de diffusion latent utilisé dans Stable Diffusion a été entraîné sur une grande base de données d'images et de descriptions écrites : On lui a donné un grand nombre d'images différentes avec des descriptions écrites qui expliquaient ce qu'il y avait sur chaque image.

C’est donc un peu comme si notre chef cuisinier avait gouté des milliers de plats et lu toutes leurs recettes. Et en lisant ces recettes et en goutant les plats, il a appris à en reconnaitre les diffèrents éléments: saveurs, cuissons, épices, textures,…

De même, En lisant ces descriptions et en regardant ces images, le modèle a appris à reconnaître les différents éléments qui peuvent se trouver sur une image, comme les couleurs, les formes et les textures.

Lorsque vous utilisez Stable Diffusion pour créer une nouvelle image, c'est un peu comme si vous donniez les élèments ou juste le nom d’une recette au chef cuisinier et lui demandiez de préparer le plat qui correspond. Le modèle va utiliser toutes les connaissances qu'il a acquises lors de son entraînement pour trouver les ingrédients qui correspondent à la recette et pour savoir comment les utiliser pour créer l'image finale.

Comme un chef, Stable Diffusion ne se contente pas de reproduire les recettes qu’il a appris : Grâce à ses connaissances et à son expérience, il peut créer de nouvelles images en utilisant les ingrédients qu'il connaît et en les associant de nouvelles manières pour créer de nouvelles combinaisons.

Est-ce qu’il peut vraiment tout dessiner ?

Il est important de noter que, comme un chef cuisinier, le modèle ne peut pas créer n'importe quel plat à partir de n'importe quelle recette. Même si il a été entraîné sur une grande base de données d'images et de descriptions écrites, et il ne peut pas créer des images qui vont au-delà de ce qu'il a appris lors de son entraînement.

Si vous lui donnez une description d'une image qui ne correspond à aucun des éléments qu'il a appris à reconnaître lors de son entraînement, il ne sera pas capable de créer une image qui correspond à cette description.

Par exemple : Stable Diffusion ne sait ainsi pas ce qu’est une chocolatine. Si vous lui demandez d’en dessiner, il peut deviner que cela a un rapport avec le chocolat, mais le résultat ne ressemblera pas à une chocolatine.

Un peu comme si vous demandiez à un chef qui n’a jamais vu ni gouté de cuisine japonaise de vous préparer un sashimi de thon…

Des “Chocolatines” dessinées par Stable Diffusion

Qui a créer Stable Diffusion ?

Stable Diffusion a été développée par un groupe de chercheurs appelé CompVis de l'université de Munich (LMU Munich), en collaboration avec Stability AI, Runway et EleutherAI. Le modèle a été publié grâce à un soutien financier de LAION, une organisation allemande à but non lucratif. En octobre 2022, Stability AI a réussi à lever 101 millions de dollars lors d'une levée de fonds menée par Lightspeed Venture Partners et Coatue Management.

Stable Diffusion est devenue disponible au grand public grâce au partage du code et du modèle entrainé à partir de la base de données LAION.

Cela signifie que vous pouvez utiliser Stable Diffusion sur votre propre ordinateur - à condition d'avoir une carte graphique (GPU) avec au moins 8 Go de mémoire vidéo (VRAM).

C’est une grande nouveauté par rapport aux modèles text-to-image précédents, tels que DALL-E et Midjourney, qui n'étaient accessibles que par des services en ligne. Cela signifie que vous pouvez utiliser Stable Diffusion sans avoir besoin d'une connexion Internet ou de payer pour accéder aux services sur le cloud.

Comment installer Stable Diffusion ?

Vous pouvez utiliser Stable Diffusion depuis Internet ou l’installer sur votre ordinateur.

Faut il un ordinateur puissant ?

Si vous souhaitez l’installer sur votre oridnateur, gardez cependant en tête que l’utilisation de Stable Diffusion est gourmande en ressource. Pour l’utiliser, il vous faudra une carte graphique (GPU) avec au moins 4GB de VRAM. Et en dessous de 8GB, vous trouverez probablement la génération d’image un peu lente…

⚠️

Installer Stable Diffusion demande une machine puissante

Un GPU de 8Go est donc recommandé pour utiliser Stable Diffusion. Et une utilisation confortable demande généralement plus de puissance.

Si vous ne disposez pas d’une machine suffisamment puissante, une bonne alternative est de passer par une solution sur le cloud.

En savoir plus Créer des images sur le cloud

Comment l’utiliser ?

Pour utiliser facilement Stable Diffusion, il est recommandé d’installer également une interface graphique. Celle-ci permet d’utiliser Stable Diffusion depuis votre navigateur plutôt que de devoir utiliser la ligne de commande.

👉

Consultez notre tuto pour installer Stable Diffusion avec son interface graphique sur Windows ou sur Mac

Que peut faire Stable Diffusion pour moi ?

Stable Diffusion peut être utilisé de différentes manières, en fonction des besoins et des objectifs de l'utilisateur. Voici quelques exemples de situations dans lesquelles Stable Diffusion pourrait être utilisé.

Génération d'images depuis un texte

Stable Diffusion a été conçu principalement pour générer des images à partir de descriptions écrites. Il peut donc être utilisé pour créer des images pour toute sorte de besoin comme :

Création d'illustrations pour livres : Stable Diffusion peut être utilisé pour créer des illustrations pour des livres, en s'appuyant sur les descriptions du texte.

La conception de produits : Stable Diffusion peut être utilisée pour créer des maquettes de produits ou des images de présentation, en s'appuyant sur les spécifications du produit pour décrire le produit.

Création de contenu pour les réseaux sociaux : Stable Diffusion peut être utilisé pour créer des images pour les réseaux sociaux, en utilisant les hashtags et les descriptions des utilisateurs comme guide.

Illustration de recettes de cuisine : Stable Diffusion peut être utilisé pour créer des illustrations pour des recettes de cuisine, en utilisant les ingrédients et les étapes de préparation comme base pour la description.

Conception de jeux vidéo : Stable Diffusion peut être utilisé pour créer des images pour les jeux vidéo, en utilisant les descriptions des personnages, des objets et des environnements comme guide.

Génération par Inpainting et outpainting

Stable Diffusion peut également être utilisé pour combler les lacunes dans une image ou pour ajouter des éléments à une image existante.

Comblement des lacunes dans les photos : si vous avez une photo qui manque de détails ou qui a des parties endommagées, Stable Diffusion peut utiliser l'inpainting pour combler ces lacunes et restaurer l'image.

Amélioration de la qualité des photos : si vous avez une photo qui est un peu floue ou qui manque de netteté, Stable Diffusion peut utiliser l'inpainting pour améliorer la qualité de l'image.

Ajout d'éléments à des photos : si vous voulez ajouter des éléments à une photo existante, comme un ciel bleu ou un paysage en arrière-plan, Stable Diffusion peut utiliser l'outpainting pour ajouter ces éléments à l'image.

Création de scènes photoréalistes : si vous voulez créer une scène photoréaliste à partir de plusieurs photos, Stable Diffusion peut utiliser l'inpainting et l'outpainting pour combiner ces photos et créer une image finale crédible.

Retouche de photos : Stable Diffusion peut utiliser l'inpainting et l'outpainting pour retoucher des photos et en améliorer l'apparence, par exemple en enlevant des éléments indésirables de l'image ou en ajoutant des éléments pour améliorer le composition de l'image.

Création de visuels publicitaires : Stable Diffusion peut utiliser l'inpainting et l'outpainting pour créer des visuels publicitaires et des images de marque, en combinant plusieurs éléments et en ajoutant des effets spéciaux.

👉

Consultez le Guide de l’Inpaiting pour en apprendre d’avantage sur ces techniques.

Génération depuis une autre image

Stable Diffusion peut également être utilisé pour générer des images à partir d'une image existante (accompagnée ou non d'une description écrite).

Création de variantes d'une image : Stable Diffusion peut être utiliser pour créer des variantes d'une image existante, en modifiant certaines parties de l'image ou en ajoutant de nouveaux éléments. Par exemple, il peut créer plusieurs scènes similaires avec différents arrière-plans ou avec des personnages différents.

Modification de l'apparence d'une image : Stable Diffusion peut changer l'apparence d'une image, par exemple en modifiant la luminosité, la couleur ou le contraste de l'image. Il peut aussi changer les style pour transformer une photo en image de bande-dessinée ou une peinture de paysage en une photo panoramique.

Création de montages : Stable Diffusion peut créer des montages et des collages à partir d'une ou plusieurs images existantes. Il peut par exemple créer une nouvelle image unique et cohèrente à partir d’un assemblages de photos disparates.

Création de visuels pour les campagnes de marketing : Stable Diffusion peut créer des bannières publictaires ou des affiches en utilisant des images existantes et en le recréant en les adaptant aux couleurs ou au style d’une marque.

Quels impacts pour les métiers créatifs ?

L'utilisation de Stable Diffusion peut avoir plusieurs impacts sur la création d’images, à la fois positives et négatives.

D'un côté, Stable Diffusion peut être un outil très utile pour les professionnels de l'image et de la communication visuelle.

Elle leur permet de créer rapidement des images de qualité sans avoir besoin de passer par des étapes de dessin ou de retouche fastidieuses. Cela peut leur permettre de gagner du temps et de se concentrer sur d'autres tâches.

Stable Diffusion peut également être utilisée pour créer des images qui ne pourraient pas être réalisées autrement, par exemple en combinant plusieurs images ou en ajoutant des éléments qui n'existent pas dans la réalité.

D'un autre côté, il y a des préoccupations quant à l'utilisation abusive de Stable Diffusion et à la création d'images trompeuses.

Par exemple, Stable Diffusion pourrait être utilisée pour créer des images qui font passer de fausses informations pour vraies, ou pour manipuler l'opinion publique en créant des images qui déforment la réalité.

Il est important de faire preuve de discernement lors de l'utilisation de Stable Diffusion et de vérifier la fiabilité des sources avant de partager ou de publier des images créées avec ce outil.

Il est également important de prendre en compte les implications éthiques de l'utilisation de Stable Diffusion et de se poser des questions sur la manière dont cet outil peut impacter les métiers de l’image et de la communication visuelle.

Avec l'avènement de ces outils de création d'images automatisée, il est possible que certains métiers soient amenés à évoluer ou à disparaître. Il est donc important de réfléchir aux conséquences de l'utilisation de Stable Diffusion sur l'emploi et de trouver des solutions pour s'assurer que tous les professionnels concernés puissent continuer à exercer leur métier de manière équitable.

En résumé, l'utilisation de Stable Diffusion pour la création d'images peut être un outil très utile, mais il est important de prendre en compte les implications et les possibles risques liés à son utilisation. Il est important de faire preuve de responsabilité et de discernement lors de l'utilisation de cet outil, et de réfléchir aux conséquences à long terme de son utilisation sur l'ensemble de la société.

Découvrir Stable Diffusion