Continuons notre petit tour sur la génération d’image assistée par Intelligence Artificielle.
Comme vous l’avez compris, tout va dépendre de ce que vous lui demandez. Cette demande s’appelle le « Prompt », c’est la recette, l’ordre, que vous commandez à l’IA.
L’intention originelle, la promesse, est de pouvoir lui parler comme à un humain…
C’est juste une intention hein ?! On parle d’un logiciel ! Vous avez d’autres choses à faire que discuter d’une façon élégante et polie avec une IA. Aussi, assez rapidement vous allez compter vos mots, peaufiner leur ordre, ajouter des modificateurs qui n’ont rien d’humain.
La structure d’un prompt
Vous prendrez vos petites habitudes, mais retenez que l’ordre compte !
- Quel type d’image ? Une photo ? Un dessin ?
- Quel est le sujet ? Une vieille femme ?Des oiseaux ? Une raquette de tennis ? Un paysage ?
- Quel est le style ? Type d’éclairage ? Niveau de détails ? Technique artistique ?
- Quelle est la composition ? Type de l’image ? Type d’angle de vue ? Résolution ?
Le point important : L’ordre compte !
Avant de continuer, je vous invite à parcourir le slide (diaporama en ligne, gratuit sans pub, téléchargeable en pdf) proposé par OpenArt.
Cette présentation donne une vision globale et structurée du sujet.
Note: Pas besoin d’être bon en anglais pour comprendre.
Des ressources pour visualiser les modificateurs
Comme je l’écrivais dans l’article précédent : Le problème est de mettre des mots, les mots justes. Aussi, il existe de nombreuses ressources, plus ou moins officielles où les modificateurs sont testés. Prenez-le comme un dictionnaire, une bibliothèque et, en fait, de la culture en histoire de l’art. C’est en effet bien de cela qu’il s’agit : il faut connaître ce que l’on veut …
Voici une liste de ressources :
https://www.the-ai-art.com/modifiers
Très intéressant, car il propose une classification des modificateurs (boite déroulante en haut à gauche) et une preview des résultats sur MidJourney et sur StableDiffusion
https://tdraw.art/2023/04/06/sdxl-beta-test-collections/
Une collection de tests sur le moteur SDXL (Stable Diffusion) uniquement, mais cela donne de bonnes idées. Pour voir le « prompt » utilisé, il faut cliquer sur une vignette, puis aller dans « setting »
En effet, quand vous regardez une vignette de « NightCafe » , vous avez accès au prompt utilisé par l’auteur, s’il a bien voulu le laisser public…
Mais accrochez-vous !
Vous pouvez trouver aussi 1000 « landscape » (paysage) testés !
https://tdraw.art/2022/11/25/1000-clip-modifiers-landscape/
Ou la liste des mouvements artistiques testés :
https://tdraw.art/2022/11/11/art-movements-in-stable-diffusion/
Il y a aussi les artistes, mais cela fera l’objet d’un autre article …
Essayons des variations de mouvements artistiques
Quelques essais en reprenant le prompt de l’article précédent : « portrait of women warrior, with a long sword, a helm, armor, dark fantasy concept art, by Greg Rutkowski, dynamic lighting, hyperdetailed, intricately detailed, Splash screen art, trending on Artstation, deep color, Unreal Engine, volumetric lighting, Alphonse Mucha, Jordan Grimmer, purple and yellow complementary colours »
qui donnait :
Autre prompt en gardant l’image de départ : « portrait of women warrior, with a long sword, a helm, armor, in the style of International gothic »
en enlevant l’image de départ devient : « portrait of women warrior, with a long sword, a helm, armor, in the style of Kitsh movement »
Ou même : « portrait of women warrior in the style of mannerism, with a long sword, a helm, armor, »
On voit bien qu’il n’y a pas de « helm » (casque) dans ces versions « Mannerism ». J’imagine que les images qui servent à l’entrainement de l’IA sur le style « Mannerism » contiennent peu d’images de personnages avec un casque. Mais ce ne sont que des suppositions de ma part.
Donc, tentative d’une syntaxe de modification: l’ajout de « ! » pour multiplier l’importance, le poids d’un mot.
Note importante : Je ne sais pas, et les modérateurs du Discord de NightCafe m’ont semblé flous sur le sujet, si cette syntaxe fonctionne réellement. Je ne peux que constater que dans mes essais, cela semble avoir un effet …
Le prompt : « full body portrait of women warrior in the style of mannerism, with a long sword, a helm!!! ,an armor, wide angle »
J’ai ajouté aussi « full body » et « wide angle » , pour m’assurer que je verrai bien le personnage en entier. Résultat (on a un petit casque):
Ou encore, en essayant l’autre syntaxe d’amplification du poids d’un élément ( mot ) = multiplie par 1.1 (+10%) le poids du mot : « full body portrait of women warrior in the style of mannerism, with a long sword, a (((helmet))) ,an armor, wide angle »
Pourquoi l’IA lui a troué le genou ?.. mystère …
Bref, vous l’aurez compris, créer une image par IA prend du temps et beaucoup d’essais … Et j’en ai fait un paquet pour cet article !
Les « negative prompt »
Il y a ce que l’on veut, et il y a ce que l’on ne veut pas !
A votre prompt descriptif, vous pouvez (vous devrez) ajouter un 2e prompt qui aura un poids négatif. Autrement dit, votre prompt normal a le poids 1, le prompt négatif aura un poids standard de -0.3 .
Le prompt négatif contient tout ce que vous ne voulez pas. C’est comme si vous disiez à l’IA « Attention, je ne veux pas un truc moche (ugly), un personnage avec des mains mal dessinées (poorly drawn hands) etc.
C’est idiot, mais c’est une IA ! Si vous ne lui dites pas, ce n’est pas évident pour elle, elle n’en a pas conscience, et pour cause !
L’IA va dessiner une main , avec des doigts, mais s’il y en a 4 ou 6 , des droits et des travioles, elle s’en fiche, elle a fait le job !
Il faut lui spécifier que vous voulez des mains dessinées correctement. Ou par la negative, que vous ne voulez pas des mains avec une salade de doigts (poorly drawn hands).
Voici le prompt négatif par défaut sur NightCafe : « ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, extra limbs, disfigured, deformed, body out of frame, blurry, bad anatomy, blurred, watermark, grainy, signature, cut off, draft »
Vous pouvez les modifier à votre guise.
Les Tokens
Actuellement, StableDiffusion accepte 75 tokens dans un prompt. Autrement dit , SD accepte 75 instructions.
Grosso-modo, 1 token = 1 élément d’instruction. Une « table verte » doit certainement correspondre à au moins 2 tokens : table + verte
Ce qu’il faut savoir, c’est que sur NightCafe, votre prompt est limité en nombre de caractères. Donc, vous tomberez certainement sur un « too many words ».
Mais vous pouvez ajouter des prompt en cliquant « Add another prompt » !
Mais attention ! Vous ne pouvez pas couper en deux un prompt existant sans que cela change votre image !
Autrement dit :
Image A = Seed 123 + Prompt 1-très-long
Image B = Seed 123 + Prompt 1 + Prompt 2 (le prompt précédent coupé en deux pour gagner de la place)
Et bien même si c’est la même Seed , et finalement, on pourrait le penser, le même prompt; ce ne sera pas la même image, car l’IA va interpréter différemment les 2 prompts.
Exemple :
Image de la guerrière d’origine
Image de la même Seed, mais prompt coupé en 2 prompts. on s’attend donc à la même image et non ! :
Cachez-moi ce … nez que je vois trop !
Et en ajoutant un 3e prompt avec les Negative words par défaut :
Conclusion
Il y a beaucoup à apprendre, techniquement (les poids et l’ordre des mots) et culturellement (Histoire de l’art). C’est long, mais très amusant et enrichissant. La maîtrise du « prompt » est le cœur de la discussion avec l’IA , il faut apprendre à lui parler. Mais « parler » est un abus de langage : il faut apprendre à la « commander », c’est-à-dire lui donner des instructions dans son langage.
Aussi, je pense de plus en plus que l’avenir des métiers graphiques passe par une solide connaissance des Arts et de leur histoire, que la « créativité » va se déplacer, que la valeur même de l’objet graphique va se modifier profondément. Étrangement, à ce stade, j’imagine possible qu’en donnant un accès grand public aux IA graphiques, on assiste à une explosion d’images que ce même grand public n’aurait pas « acheté dans un stock d’images » , « commandé à un photographe » etc. Bref, c’est le fait « d’illustrer » qui change de nature.
Prompt IA: Photography of the Alpes mountains, with a full moon on the left, in the night , wide angle
Peu de chance que ce point de vue et ces montagnes existent réellement…
N’espérez pas y faire une rando ou y louer un chalet!
A suivre, un article sur l’utilisation des modificateurs par nom d’artiste…
