Créer des photos d’une même personne ou d’un personnage cohérent est une demande qui revient fréquemment dans les groupes de discussions entre utilisateur d’IA générative comme Midjourney ou Stable Diffusion. Disposer d’un modèle virtuel pour créer de multiple shooting et mise en scène est en effet pratique et permet toute sorte d’usages intéressants.
Ce n’est cependant par forcément évident d’y parvenir et certains pensent parfois que c’est virtuellement impossible. Ou qu’on ne peut y parvenir qu’en disposant de nombreuses images de référence à partir desquels entrainer un LoRA ou un modèle fine-tuné avec Dreambooth.
Dans cet article, nous vous partageons une technique plus simple qui permet de créer son modèle virtuel de A à Z à l’aide de Stable Diffusion et de l’interface de Fooocus. Avec ce tutoriel, vous pourrez donc générer une série de photos d’un même personnage virtuel.
⚠️
Ce tutoriel considère que vous avez déjà installer Fooocus et connaissez déjà son utilisation de base - Si ce n’est pas le cas, commencez par lire notre Guide de démarrage pour Fooocus.
Nous allons commencer par créer une série d’images qui serviront ensuite de références pour générer de nouvelles photos de notre modèle.
Générer les images de référence
Le portrait de départ
Pour pouvoir générer des images variées d’une même personne, il faut évidemment commencer par générer une première image de cette personne.
Cette première image sera une première référence qui nous permettra de définir l’apparence de notre modèle. A ce stade, le but n’est cependant pas de fixer définitivement tous les attributs de notre personnage. Le visage que nous allons générer à cette première étape sera un premier et qui pourra encore évoluer aux étapes suivantes.
Pour cette première étape nous allons donc utiliser le mode de génération Extreme Speed de Fooocus qui va nous permettre d’imaginer rapidement un personnage et de tester le prompt pour l’obtenir. Avec ce mode, un même prompt a tendance à générer des visages similaires. vous pouvez donc rapidement expérimentez et modifiez votre prompt pour obtenir le visage que vous souhaitez pour votre modèle virtuel.
Voici les étapes à suivre pour obtenir notre portrait de départ dans Fooocus :
Cochez la case Advanced pour afficher les options de configurations (Setting).
Choisissez le mode Extreme Speed
Choisissez le format 832x1152 | 13:18
Réglez Image Number sur 4
Préparez un prompt pour générer un portrait qui représente votre model.
Générez un premier set d’images.
Au besoin, modifier le prompt et relancer la génération.
Une fois que vous avez obtenu un visage qui vous convient, vous pouvez enregistrez l’image et passez à l’étape suivantes.
📌
Exemples de prompts pour vos portraits
Portrait photo of a 25 years old american man, beard, green eyes, charming smile
Close up portrait of a young japanese yoga teacher in sportswear, studio lighting, Instagram photography
Front shot portrait photo of an happy 42 years old woman, dark hair, natural makeup
Close up portrait of an handsome male athlete, serious look, short hair and mustache
Nous allons maintenant transformer notre image de départ en une série de portrait sous différents angles. Le but est d’obtenir plusieurs photos de de notre modèle virtuel que nous pourrons ensuite utiliser comme références pour les future générations.
Un astuce pour créer plusieurs images de la meme personne est de le générer en une seule fois, toute en même temps.
Pour cela, en plus d’un prompt adéquat, nous utilisons une image qui guidera Stable Diffusion pour générer plusieurs visages avec différents angles :
Le guide de pose qui va permettre de générer plusieurs fois le même visage dans différentes positions.
(Ce guide est une variation de celui proposé dans cette discussion Reddit qui détaille une technique similaire pour générer des personages - mais sans passer par un premier portrait.)
Nous allons donc utiliser la fonctionnalité Image Prompt de Fooocus en combinant deux images dé références : notre portrait de départ et le guide de poses.
En plus des images, nous allons également reprendre notre prompt de génération de portrait, mais en retirant les éléments de génération de portrait unique et en ajoutant “multiple portaits in different angles”.
Voici les étapes à suivre pour créer nos photos sous différents angles :
Dans Setting, choisissez le mode Speed
Choisissez le format 1024x1024 | 1:1
Modifiez le prompt comme expliqué plus haut
Cliquez sur Input Image pour ouvrir l’interface de prompt avec images
Choisissez l’onglet Image Prompt
En bas de celui-ci, cochez la case Advanced pour activer les options de configuration supplémentaires de l’image prompt.
Ajoutez l’image du portrait, et sélectionnez Faceswap
Ajouter l’image du guide de pose et sélectionnez CPDS
Choisissez l’image sur laquelle le personnages correspond le mieux à ce que vous souhaitez. Ce sont ces portrait qui vont nous servir par la suite et il est donc important de choisir une image réussie avec le visage qui vous plaît. (Au besoin, vous pouvez choisir plusieurs images pour y prendre différentes postures)
Préparations des portraits de références
Nous allons maintenant reprendre les 4 angles de vue et les agrandir à l’aide de l’IA pour obtenir une image en meilleure définition.
Pour cela, vous devrez d’abord découper l’image choisir en 4 nouvelles images, une par angle de vue, à l’aide du logiciel de votre choix.
Ensuite, suivez les étapes ci-dessous pour chaque image :
Choisissez l’onglet Style à droite et désactiver tous les styles.
Supprimer la mention “multiple portaits …” dans le prompt
Choisissez l’onglet Upscale or Variation dans Input Image
Ajouter l’image à agrandir
Choisissez Upscale (1.5x)
Lancez la génération
Vous obtiendrez plusieurs agrandissement légèrement différents. Choisissez le mieux réussis pour chaque angle.
Une fois les 4 images agrandies, vous devriez donc avoir 4 portrait de la même personnes sous différents angles. A l’aide de ces 4 portraits, nous allons maintenant pouvoir générer une infinité de nouvelles images de cette personnes, dans différents styles et différentes situations.
Créer des photos avec notre modèle
Méthode de base
La technique de base ressemble un peu à ce nous avons déjà fait : utiliser le portrait pour créer une nouvelle image en utilisant la fonctionnalité Faceswap de l’Image Prompt.
Il suffit en effet d’écrire un prompt correspondant à la situation voulue et de configurer un faceswap pour générer de nouvelles photos de notre modèle. Au besoin, vous pouvez augmenter le Weight de l’image pour augmenter la ressemblance avec l’image de départ.
Mais vous remarquerez que toutes ces images ont tendance à montrer notre personnage avec la tête dans la même position, face caméra - comme sur l’unique image de de référence que nous avons utilisé. L’effet est encore plus visible si vous avez augmentez le Weight de l’image.
portrait of a man wearing a blue hoodies, amateur street photography, Paris
close action shot of a man running in the jungle
C’est là que les différents angles de vue que nous avons générés interviennent pour nous permettre de varier les angles et positions.
Changer les angles de vues
Evidemment, utiliser l’un des autres angles de vue va fonctionner de manière similaire. Mais le résultat sera le même : toutes les images utiliseront a peu près la même position du visage que celle de référence.
Un portrait généré avec l’image à 45°
Le même prompt avec l’image de profile
L’astuce consiste en fait à combiner plusieurs images de référence avec le faceswap - et à modifier leur importance (weight) pour orienter un peu plus l’angle vers l’une ou l’autre des images.
En combinant par exemple la vue de face et celle qui regarde vers le haut et en leur laissant le weight à 0,75 chacune, on va obtenir un angle a peu près entre les deux :
De là, en modifiant les Weight, il est encore possible de changer encore l’angle pour orienter le visage dans une position.
Weight à 0,7 pour la première image et 0,9 pour la seconde
Weight à 0,9 pour la première image et 0,7 pour la seconde
Encore plus de variations
Le poids des mots dans le prompt
Pour varier encore plus les images, pensez également à ajouter des expression de visages et d’autres changement qui peuvent modifier légèrement le visage de votre personnage sans qu’il ne devienne quelqu’un d’autre. Pour y parvenir, vous devrez probablement forcer un peu les choses en répétant certains mots et/ou renforçant leur poids à l’aide de parenthèses.
A (smilling) man wearing a blue jeans jacket, (large smile), Busy street in Chicago, short hair and mustache
A (sad) man wearing a black suit, crying face, rainy day at the cemetery, short hair and mustache, graveyard
Une approche possible pour les expression du visage est aussi de travailler à partir de la photo de face seule, pour générer de nouveau portraits de référence avec différentes expression. Ensuite, vous pourrez utiliser ces portrait comme image de référence en Faceswap pour de nouvelle photo.
L’Inpaiting à la rescousse
Certains changement, comme par exemple la couleur des cheveux, sont difficile à effectuer avec le Faceswap. Une solution pour ca est de travailler en deux temps : générer une image avec le Faceswap puis utiliser l’Inpaiting pour changer la coiffure ou la couleur des cheveux.
Voilà, vous savez maintenant comment utiliser Fooocus pour générer des photos variées d’un modèle virtuel créé entièrement avec Stable Diffusion. Il ne vous reste plus qu’à suivre les différentes techniques expliquées dans cet article pour créer votre propre studio photo virtuel.
Vous devrez parfois faire plusieurs tentative de génération pour obtenir un résultat vraiment cohérent, l’IA ayant tendance à créer de petites variations par-ci par-là, même avec un Faceswap bien configuré.
N'oubliez pas que la clé du succès réside dans l'expérimentation et l'ajustement des paramètres pour parfaire vos créations. Chaque tentative est une occasion d'apprendre et de peaufiner votre technique, menant progressivement à des résultats toujours plus époustouflants.
L’exploration ne s’arrête d’ailleurs pas ici. Nous pourrions utiliser les images créées avec cette technique comme base pour entraîner un nouveau LoRA. Restez donc à l'affût de nos prochains articles sur le sujet.
Avec SDXL et Fooocus, vous avez tous les outils pour devenir un créateur. Profitez-en et n’hésitez pas à nous partager vos créations !
