Sommaire
- Générer les images de référence
- Le portrait de départ
- Différents angles de références
- Principe de la génération
- Génération des portraits de référence
- Préparations des portraits de références
- Créer des photos avec notre modèle
- Méthode de base
- Changer les angles de vues
- Encore plus de variations
- Le poids des mots dans le prompt
- L’Inpaiting à la rescousse
- A votre tour !
Do not index
Do not index
Publish
Publish
Créer des photos d’une même personne ou d’un personnage cohérent est une demande qui revient fréquemment dans les groupes de discussions entre utilisateur d’IA générative comme Midjourney ou Stable Diffusion. Disposer d’un modèle virtuel pour créer de multiple shooting et mise en scène est en effet pratique et permet toute sorte d’usages intéressants.
Ce n’est cependant par forcément évident d’y parvenir et certains pensent parfois que c’est virtuellement impossible. Ou qu’on ne peut y parvenir qu’en disposant de nombreuses images de référence à partir desquels entrainer un LoRA ou un modèle fine-tuné avec Dreambooth.
Dans cet article, nous vous partageons une technique plus simple qui permet de créer son modèle virtuel de A à Z à l’aide de Stable Diffusion et de l’interface de Fooocus. Avec ce tutoriel, vous pourrez donc générer une série de photos d’un même personnage virtuel.
Ce tutoriel considère que vous avez déjà installer Fooocus et connaissez déjà son utilisation de base - Si ce n’est pas le cas, commencez par lire notre Guide de démarrage pour Fooocus.
Nous allons commencer par créer une série d’images qui serviront ensuite de références pour générer de nouvelles photos de notre modèle.
Générer les images de référence
Le portrait de départ
Pour pouvoir générer des images variées d’une même personne, il faut évidemment commencer par générer une première image de cette personne.
Cette première image sera une première référence qui nous permettra de définir l’apparence de notre modèle. A ce stade, le but n’est cependant pas de fixer définitivement tous les attributs de notre personnage. Le visage que nous allons générer à cette première étape sera un premier jet qui pourra encore évoluer aux étapes suivantes.
Pour cette première étape nous allons donc utiliser le mode de génération Extreme Speed de Fooocus qui va nous permettre d’imaginer rapidement un personnage et de tester le prompt pour l’obtenir. Avec ce mode, un même prompt a tendance à générer des visages similaires. vous pouvez donc rapidement expérimentez et modifiez votre prompt pour obtenir le visage que vous souhaitez pour votre modèle virtuel.
Voici les étapes à suivre pour obtenir notre portrait de départ dans Fooocus :
- Cochez la case Advanced pour afficher les options de configurations (Setting).
- Choisissez le mode Extreme Speed
- Choisissez le format 832x1152 | 13:18
- Réglez Image Number sur 4
- Préparez un prompt pour générer un portrait qui représente votre model.
- Générez un premier set d’images.
- Au besoin, modifier le prompt et relancer la génération.
Une fois que vous avez obtenu un visage qui vous convient, vous pouvez enregistrez l’image et passez à l’étape suivantes.
Exemples de prompts pour vos portraits
Différents angles de références
Principe de la génération
Nous allons maintenant transformer notre image de départ en une série de portrait sous différents angles. Le but est d’obtenir plusieurs photos de de notre modèle virtuel que nous pourrons ensuite utiliser comme références pour les future générations.
Un astuce pour créer plusieurs images de la meme personne est de le générer en une seule fois, toute en même temps.
Pour cela, en plus d’un prompt adéquat, nous utilisons une image qui guidera Stable Diffusion pour générer plusieurs visages avec différents angles :
(La technique décrite ici est une variation de celle proposée dans cette discussion Reddit qui détaille une technique similaire pour générer des personnages - mais sans passer par un premier portrait.)
Nous allons donc utiliser la fonctionnalité Image Prompt de Fooocus en combinant deux images dé références : notre portrait de départ et le guide de poses.
Consultez également notre Guide de l’image prompt dans Fooocus
Génération des portraits de référence
En plus des images, nous allons également reprendre notre prompt de génération de portrait, mais en retirant les éléments de génération de portrait unique et en ajoutant “multiple portaits in different angles”.
Voici les étapes à suivre pour créer nos photos sous différents angles :
- Dans Setting, choisissez le mode Speed
- Choisissez le format 1024x1024 | 1:1
- Modifiez le prompt comme expliqué plus haut
- Cliquez sur Input Image pour ouvrir l’interface de prompt avec images
- Choisissez l’onglet Image Prompt
- En bas de celui-ci, cochez la case Advanced pour activer les options de configuration supplémentaires de l’image prompt.
- Ajoutez l’image du portrait, et sélectionnez Faceswap
- Ajouter l’image du guide de pose et sélectionnez CPDS
- Générez un premier set d’images
- Au besoin, modifier un peu les paramètres Stop At et Weight des images et relancer une génération.
Choisissez l’image sur laquelle le personnages correspond le mieux à ce que vous souhaitez. Ce sont ces portrait qui vont nous servir par la suite et il est donc important de choisir une image réussie avec le visage qui vous plaît. (Au besoin, vous pouvez choisir plusieurs images pour y prendre différentes postures)
Préparations des portraits de références
Nous allons maintenant reprendre les 4 angles de vue et les agrandir à l’aide de l’IA pour obtenir une image en meilleure définition.
Pour cela, vous devrez d’abord découper l’image choisir en 4 nouvelles images, une par angle de vue, à l’aide du logiciel de votre choix.
Ensuite, suivez les étapes ci-dessous pour chaque image :
- Choisissez l’onglet Style à droite et désactiver tous les styles.
- Supprimer la mention “multiple portaits …” dans le prompt
- Choisissez l’onglet Upscale or Variation dans Input Image
- Ajouter l’image à agrandir
- Choisissez Upscale (1.5x)
- Lancez la génération
Vous obtiendrez plusieurs agrandissement légèrement différents. Choisissez le mieux réussis pour chaque angle.
Une fois les 4 images agrandies, vous devriez donc avoir 4 portrait de la même personnes sous différents angles. A l’aide de ces 4 portraits, nous allons maintenant pouvoir générer une infinité de nouvelles images de cette personnes, dans différents styles et différentes situations.
Créer des photos avec notre modèle
Méthode de base
La technique de base ressemble un peu à ce nous avons déjà fait : utiliser le portrait pour créer une nouvelle image en utilisant la fonctionnalité Faceswap de l’Image Prompt.
Il suffit en effet d’écrire un prompt correspondant à la situation voulue et de configurer un faceswap pour générer de nouvelles photos de notre modèle. Au besoin, vous pouvez augmenter le Weight de l’image pour augmenter la ressemblance avec l’image de départ.
Mais vous remarquerez que toutes ces images ont tendance à montrer notre personnage avec la tête dans la même position, face caméra - comme sur l’unique image de de référence que nous avons utilisé. L’effet est encore plus visible si vous avez augmentez le Weight de l’image.
C’est là que les différents angles de vue que nous avons générés interviennent pour nous permettre de varier les angles et positions.
Changer les angles de vues
Evidemment, utiliser l’un des autres angles de vue va fonctionner de manière similaire. Mais le résultat sera le même : toutes les images utiliseront a peu près la même position du visage que celle de référence.
L’astuce consiste en fait à combiner plusieurs images de référence avec le faceswap - et à modifier leur importance (weight) pour orienter un peu plus l’angle vers l’une ou l’autre des images.
En combinant par exemple la vue de face et celle qui regarde vers le haut et en leur laissant le weight à 0,75 chacune, on va obtenir un angle a peu près entre les deux :
De là, en modifiant les Weight, il est encore possible de changer encore l’angle pour orienter le visage dans une position.
Encore plus de variations
Le poids des mots dans le prompt
Pour varier encore plus les images, pensez également à ajouter des expression de visages et d’autres changement qui peuvent modifier légèrement le visage de votre personnage sans qu’il ne devienne quelqu’un d’autre. Pour y parvenir, vous devrez probablement forcer un peu les choses en répétant certains mots et/ou renforçant leur poids à l’aide de parenthèses.
Une approche possible pour les expression du visage est aussi de travailler à partir de la photo de face seule, pour générer de nouveau portraits de référence avec différentes expression. Ensuite, vous pourrez utiliser ces portrait comme image de référence en Faceswap pour de nouvelle photo.
L’Inpaiting à la rescousse
Certains changement, comme par exemple la couleur des cheveux, sont difficile à effectuer avec le Faceswap. Une solution pour ca est de travailler en deux temps : générer une image avec le Faceswap puis utiliser l’Inpaiting pour changer la coiffure ou la couleur des cheveux.
Pour mieux coiffer votre modèle, n’hésitez pas à vous référer à notre guides des coiffures dans SDXL.
A votre tour !
Voilà, vous savez maintenant comment utiliser Fooocus pour générer des photos variées d’un modèle virtuel créé entièrement avec Stable Diffusion. Il ne vous reste plus qu’à suivre les différentes techniques expliquées dans cet article pour créer votre propre studio photo virtuel.
Vous devrez parfois faire plusieurs tentative de génération pour obtenir un résultat vraiment cohérent, l’IA ayant tendance à créer de petites variations par-ci par-là, même avec un Faceswap bien configuré.
N'oubliez pas que la clé du succès réside dans l'expérimentation et l'ajustement des paramètres pour parfaire vos créations. Chaque tentative est une occasion d'apprendre et de peaufiner votre technique, menant progressivement à des résultats toujours plus époustouflants.
L’exploration ne s’arrête d’ailleurs pas ici. Nous pourrions utiliser les images créées avec cette technique comme base pour entraîner un nouveau LoRA. Restez donc à l'affût de nos prochains articles sur le sujet.
Avec SDXL et Fooocus, vous avez tous les outils pour devenir un créateur. Profitez-en et n’hésitez pas à nous partager vos créations !
Ecrit par