Spirale & illusions optiques

Comment utiliser ControlNet pour générer des images en spirales

Spirale & illusions optiques
Do not index
Do not index
Publish
Publish
Depuis quelques jours, un nouveau genre d'image fait sensation au sein de la communauté des amateurs d'art lié à l'IA et sur les réseaux sociaux. Je fais bien sûr référence à ces paysages et autres images en spirale ou avec d'autres motifs qui semblent être des illusions optiques.
Tout a commencé avec un post de Ugleh sur Reddit qui a partagé une première image d’un village médieval avec un motif de spirale en mentionnant juste l’usage de QR Monster, un modèle ControlNet mis au point dans la foulée du buzz autours QR Codes Artistique.
Rapidement, l’image s’est retrouvée un peu partout sur les réseaux sociaux et d’autres utilisateur de Stable Diffusion se sont mis à créer des images sur le même principe.
Ugleh a également partagé sa technique et même admis en avoir eu l’idée en consultant une autre image sur Civitai. C’est cette technique, légèrement adaptée, que je vais vous présenter dans ce petit tuto.
https://www.reddit.com/r/StableDiffusion/comments/16ew9fz/spiral_town_different_approach_to_qr_monster/
La version courte et super simple
Cet article décrit comment créer des images avec Stable Diffusion et l’interface Automatic1111. Mais si vous souhaitez juste créer des images sans rien installer, vous pouvez utiliser Illusion Diffusion, un outil en ligne gratuit optimisé pour créer ce type d’image.

Avant de commencer

 

Automatic1111

Pour réaliser nos images, nous allons utiliser l’interface d’Automatic1111 - Vous devez donc soit l’installer, soit avoir accès à une solution en ligne qui utilise cette interface (par exemple GRAVITY Diffus qui a déjà tout le nécessaire installé).
Pour l’installation, vous pouvez suivre nos guides d’installation pour Mac ou pour Windows. Et si vous n’avez jamais utilisé l’interface, un coup d’oeil sur le manuel en francais d’Automatic1111 pourrait vous être utile (même si l’interface reste assez intuitive).

Extension ControlNet

Nous allons utiliser l’extension sd-webui-controlnet - Cliquez ci-dessous pour dérouler les étapes de son installation si nécessaire :
Comment installer sd-webui-controlnet ?
  1. Lancez Automatic1111 et ouvrez l’onglet Extensions
  1. Ouvrez ensuite l’onglet Install from URL
  1. Indiquez l’URL suivante dans le premier champs, URL for extension’s get repository : https://github.com/Mikubill/sd-webui-controlnet
    1. notion image
  1. Cliquez sur le bouton Install - Automatic1111 va télécharger et installer l’extension.
  1. Ouvrez l’onglet Installed et cliquer sur le bouton Apply and restart UI

QR Monster

Nous aurons encore besoin du modèle QR Monster pour appliquer l’effet voulu. Rendez-vous sur sa page HuggingFace et téléchargez le fichier .safetensor dans l’onglet Files and versions. (Les images de @Ugleh utilisent la version 1 mais vous pouvez également utilisez la v2 disponible dans le répertoire v2)
notion image
Placez ensuite le fichier télécharger dans le répertoire models/ControlNet de votre installation ControlNet.
Maintenant que vous avez tous les éléments nécessaires installé, nous allons pouvoir générer nos images en spirales.

Créer des images en spirale

La technique est en fait assez simple. Il s‘agit d’appliquer un ControlNet à une génération d’image à partir d’image en noire et blanc (la spirale) et une force relativement basse. Elle peut se résumer en quelques étapes simples à suivre dans l’interface d’Automatic1111.

Configuration avec Automatic1111

  1. Sélectionnez un modèles dérivé de Stable Diffusion 1.5 pour qu’il soit compatible avec le modèle QR Monster - pour mes tests, j’ai principalement utilise RevAnimated et Deliberate.
  1. Indiquez votre prompt (et un prompt négatif)
  1. Choisissez une CGF Scale selon votre habitude - quelquechose entre 7 et 10 devrait faire l’affaire.
  1. Facultatif : définissez un hires fix pour obtenir une image en plus haute définition.
  1. Ouvrez le configurateur ControlNet et cochez Enabled pour l’activer.
  1. Placez votre image de spirale dans le zone Single Image (une petite recherche Google permet d’en avoir plein)
  1. Laissez le Preprocessor ControlNet vide.
  1. Choisissez le modèle QR Monster comme Model ControlNet.
  1. Choisissez un Control Weight entre 0.5 et 0.75 - plus il est élevé, plus votre spirale sera visible, et moins sont intégration dans l’image sera subtile.
  1. Et voilà, vous pouvez maintenant lancer la génération en cliquant sur Generate.
notion image
En suivants ces indications, vous devriez pouvoir rapidement générer des images qui vous plaisent dans le style de celles qu’on voit passer sur les réseaux depuis qu’Ugleh à partager les siennes.
https://x.com/StableTom/status/1704037419241148858?s=20
https://x.com/StableTom/status/1704037419241148858?s=20
https://x.com/StableTom/status/1704037419241148858?s=20
https://x.com/StableTom/status/1704037419241148858?s=20
Gardez à l’esprit que ces réglages sont indicatifs - n’hésitez pas à tester et expérimenter pour varier les effets. Essayez aussi d’utiliser d’autres images ou motifs qu’un spirale… La même technique permet pleins de vriations !
https://www.reddit.com/r/StableDiffusion/comments/16hvv8z/spiral_forest/
https://www.reddit.com/r/StableDiffusion/comments/16lgs6b/spirals_trend_but_you_can_do_so_much_more/
https://www.reddit.com/gallery/16jae68?user_id=26692916&web_redirect=true
https://www.reddit.com/r/StableDiffusion/comments/16hz40p/checkered_village_qr_code_workflow/
https://www.reddit.com/gallery/16jae68?user_id=26692916&web_redirect=true
https://www.reddit.com/r/StableDiffusion/comments/16jqmqd/thank_you_for_the_tips_mrugleh/

Variations et illusions

QR Monster se révèle très efficace pour imprimer dans l’image générée la forme d’une autre image. N’importe quelle image en noir et blanc peut être utilisé pour créer une illusion : logo, symbole, texte,… Les possibilité sont infinies !

Logo & Symboles

https://www.reddit.com/r/StableDiffusion/comments/16mu0xs/the_next_controlnet_illusion_is_sponsored_by/
https://www.reddit.com/r/StableDiffusion/comments/16l4p2e/i_see_twitter_everywhere_i_go/
https://www.reddit.com/r/StableDiffusion/comments/16ma6sa/bitcoins_symbol/
https://www.reddit.com/r/StableDiffusion/comments/16n3r5m/guess_the_logo/
 

Visages

https://www.reddit.com/r/StableDiffusion/comments/16mgju9/try_zooming_out/
https://www.reddit.com/r/StableDiffusion/comments/16jtfpn/spirals_no_gigachad_yes/

Textes

https://www.reddit.com/r/StableDiffusion/comments/16mvejc/all_you_need_iscontrolnet/
https://www.reddit.com/r/StableDiffusion/comments/16n5f0n/illusion_art_meets_pika_labs/
https://www.reddit.com/r/StableDiffusion/comments/16mtrw2/daily_good_morning_post_1_gm/
 

Profitez de toute la puissance de SDXL sans rien installer et depuis n'importe quel ordinateur.

Stable Diffusion sur le Cloud

Créer avec Diffus

Ecris par