pour les pros de l'IA...

[baptiste]

Salut à tous,

Je continue mes expérimentations avec l'IA et j'ai un problème récurent et je n'arrive pas à comprendre et à le résoudre :

En gros lorsque je lui demande de concevoir un visuel (j'utilise chat gpt) en utilisant des photos que je lui fournis, il décide parfois de modifier ces dites images sans que je lui demande, et lorsque c'est le cas je n'arrive pas à le faire revenir à l'image d'origine...

Bref un exemple pour mieux m'expliquer (dans la mesure ou c'est un usage pro je ne sais pas si je peux poster les images ici) :

Je demande a chat GPT de me faire une affiche à poster sur les réseaux, pour présenter ma dernière création.
Dès le premier post il me sort un truc pas trop mal, il y a juste une petite erreur : il indique 4 emplacements de cartes alors qu'il y en a 6

Je lui dit texto "Indique 6 emplacement pour carte et pas 4" il s’exécute mais en même temps me change l'image sans que je comprenne pourquoi...

Et du coup j'ai passé mes essais suivant à essayé de lui faire comprendre sans succès...

Est ce que quelqu'un peu m'indiquer mon erreur ?

[Swinn]

Il n'y a pas d'erreur, l'IA ne sait pas revenir en arrière sur des images, c'est comme si elle entame sa réflexion à chaque fois de zéro.

Midjourney et quelques autres IA spécialisées image/vidéo en version payantes sont capables de revenir sur leur création d'images précédentes notamment pour de la vidéo ou des visuels utilisant les mêmes personnages.

Il faut que tu affines ton prompt, si tu n'y parviens pas donne tes idées à ChatGPT puis demande lui de t'écrire le prompt qui correspond le mieux à ta demande, demande lui d'évaluer ensuite ce prompt et de le corriger en fonction de cette évaluation puis lorsqu'il est satisfait de ce résultat, demande lui la création de l'image puis une correction éventuelle en spécifiant les corrections souhaitées.

C'est un excellent moyen d'obtenir un bon visuel quasi du premier coup.

Comme je l'ai dit ailleurs la qualité de la réponse dépend de la qualité de la question et la "personne" encore la mieux placée encore pour poser la question la plus compréhensible qui soit est l'IA elle même, mais pour cela il faut lui donner les informations les plus complètes possibles.

[baptiste]

@Swinn le problème c'est que j'avais bien réussi du premier coup, et que la première affiche était très bien (j'avais fait toute une phase de "dialogue" avant pour affiner le prompt) mais le fait de changer un tout petit détail (d'ailleurs d’où une IA est pas capable de compter le nombre de poche d'un portefeuille ?) qui à mis le bazar dans les images alors qu'elles étaient très bien à la base...

D'ailleurs faut que je trouve un prompt pour pouvoir lui dire de ne plus toucher aux images, parce quelque soit ce que je lui dit il les modifie de lui même alors que je lui ait dit de pas y toucher (j'ai même essayé avec des menaces de mort des fois que)....

[Swinn]

Tu ouvres un nouveau dialogue hors celui de tes images. Et tu lui demandes quelle est la meilleure commande pour qu'elle ne modifie plus les images de son propre chef.

Une fois la commande validée tu la retranscris dans ton fil de création d'image, tu fais un ou 2 test avec des images sans intérêt et tu affines si besoin.

En théorie cela fonctionnera. Ma seule réserve est que sur la version gratuite je ne me souviens plus de comment fonctionne les historiques de conversation, la façon à laquelle notamment ils sont conservés.

[lady space]

Je suis en train d'apprivoiser ChatGPT moi aussi. La version gratuite retient les conversations passées et tu peux les poursuivre lors de la prochaine connexion mais je ne sais pas comment elles sont archivées sur un plan technique.

Je suis trèèèèès loin d'être une pro de l'IA mais, avec mon père, on est en train d'expérimenter ChatGPT également. On s'amuse à lui poser les mêmes questions dans un domaine financier assez précis, mon père sur une version payante et en allemand et moi sur la version gratuite et en français. Et on constate que les réponses se recoupent parfois mais ne sont pas du tout pareilles. Il reste plus vague sur la version gratuite et n'intègre pas forcément tous les critères demandés de manière systématique.

Je pense que, plus le domaine que tu cherches à traiter est rare, moins le résultat sera probant. Parce qu'il base ses réponses sur ce qu'il trouve le plus souvent sur internet (en accès libre pour la version gratuite je suppose) - ce qui expliquerait aussi pourquoi toutes les affiches se ressemblent : il a juste pris celles qu'il y avait déjà pour modifier quelques détails. Il semblerait que Grok a beaucoup moins de scrupules à piocher dans des documents protégés, si t'as besoin d'une vue éclatée d'un produit breveté par exemple, mais je n'irai pas vérifier cela de moi-même parce que je ne mettrai pas un seul doigt dans les bouses de monsieur Musk.

[nemo]

Le plus simple c'est de repartir sur une nouvelle conversation avec l'image que tu veux modifier. En restant dans la même conversation il est pollué par l'historique.

[baptiste]

J'ai failli mourir de rire :
- Je demande à ChatGPT de me faire une affiche
- Je fais une modification mineure via un éditeur de photo (j'ai enlevé un mot en trop)
- Je demande à ChatGPT d’évaluer l'affiche :
- Il s'auto-note 7,5 sur 10 et me propose un million de modification possible...

On notera donc que ChatGPT est le genre de travailleur à se garder de la marge sous le pied au cas où...

[Brunehilde]

Moi une fois j'ai demandé de modifier une image existante (une carte sur laquelle je voulais que l'IA enlève les noms de villes), ça a mouliné et mouliné pour finir par me donner... une carte avec quatre patatoïdes et quelques zones vaguement sombres
Après ce magnifique fou-rire (l'Europe patatoïde, imaginez...), j'ai ouvert Gimp et fait le job en 1mn ^^

[Thalweg]

Bon je peux peut-être aider... Faut comprendre plusieurs choses sur les IAs génératives d'images...

Premièrement ça fonctionne en encodant des représentations mathématique de ce qu'il y a en images, en fonction des propriétés apprises du machin. Exemple... Si vous voulez une image d'un bébé paon, ça va chercher la représentation de l'image d'un paon adulte et puis l'axe qui définit le caractère "bébé" d'un machin, et appliquer les transformations (plus petit, plus mignon etc).

Ensuite l'idée est de s'arranger pour que ces représentation d'images correspondent avec les même représentation de texte. Que le point représentant l'image d'un bébé paon soit au même endroit de l'espace que le point représentant la """" signification"""" des termes "bébé paon".

Une fois qu'on a ça tout ajout de texte dans un prompt fait se déplacer une représentation dans cet espace, puis générer la représentation de ce qui se trouve là. Un pas à droite, deux pas en haut, six pas derrière... Dans des milliards d'axes.

Et enfin on jette un dè. Parce que cette représentation ce n'est qu'une moyenne, une quintessence pixelique distillée par des nano transistors de silicium ultra-pur... Et donc par le fait de lancer ce dé on ajoute ou retire des détails, un peu d'entropie et on lisse continuellement les générations...

Ce qui fait qu'au final un prompt est plus une supplique à ces dieux de silicium nanoscopique, en vue d'orienter un résultat qu'on espère correspondre à nos attentes, qu'une vraie chaîne d'instructions à suivre par la machine...

C'est extrêmement résumé, mais je pense que l'idée est là ^^

[Thalweg]

Et on va ajouter deux trois précisions importantes, plus applicables aux LLMs (les large language models, genre ChatGPT ou gemini... Les réponses purement texte quoi)...

D'abord comment ça marche? En gros l'idée de base des llms est de "prédire le token suivant". Qu'est-ce qu'un token ? C'est grossièrement une partie de mot qui encode un sens. Pour les modèles actuels c'est en moyenne ¾ d'un mot. Ça va par exemple découper "mangeons" en "mange-" et "ons" qui encodent deux significations distinctes. Ces tokens sont ensuite convertis en nombres, puis comparés à tous les autres qui précédent pour voir si le sens est altéré (le bébé paon ^^). Cette comparaison s'opère sur des dizaines de milliers de tokens, un par un, selon ce que le modèle a appris pendant sa phase d'entraînement (ou "la digestion complète de la production littéraire de l'humanité").

Puis, de nouveau en se référant à cette phase d'entraînement, le modèle prédit une liste des mots les plus probables et jette un dès pour savoir lequel est choisi (via un chiffre transformé en morceau de mot, à l'inverse du début). Puis vous rajoutez ce token à l'ensemble, recalculez avec les nouveaux paramètres et voilà vous générez du texte...

Plusieurs conséquences... La première c'est que le processus ne produit pas les mêmes résultats sur le même prompt à chaque fois. Ce n'est pas déterministe (bon on peut enlever le jet de dès sur la fin ça peut aider mais c'est pas non plus garanti et ce pour des raisons vraiment compliquées).

Deuxièmement ça calcule par tokens pas par lettres ou autres. Compter les "r" de raspberry c'est pas possible.

Enfin ça n'a aucune idée de vrai ou faux, c'est seulement le token le plus probable basé sur les données d'entraînement. Si les données parlent de l'assassinat de de Gaulle par Khadafi bah c'est possible que ça remonte. Donc vraiment à faire attention...

C'est tout pour aujourd'hui, je parlerai encore d'autres trucs plus tard. Parce que là in a un plat pas mauvais mais il manque les ingrédients secrets qui donnent envie de revenir.

[baptiste]

Alors, un truc qui m'énerve avec l'IA c'est qu'elle à tendance à considérer que tout ce qu'on lui dit ou demande est acquis.

Par exemple, à partir d'une photo de mon stand je lui ai demandé de me donner des idées pour faire un stand plus "médiéval", car je souhaiterais rentrer dans le milieu des fêtes médiévales (mais c'est une autre histoire).

Et depuis il considère que tout ce que je demande dois avoir un rapport avec la thématique médiévale (y compris des trucs qui n'ont rien à voir) alors que ça n'a rien a voir avec mon style habituel.

Du coup c'est lourd et je sais pas comment lui faire laisser tomber l'idée

[lady space]

Créer une nouvelle demande en lui demandant d'ajouter quelques éléments médiévaux ?

Ou juste effacer l'historique ?

Le souci doit être que tu as un style bien particulier, le tien quoi, et que les probas des bribes trouvées çà et là sur le net par l'IA vont systématiquement déboucher sur quelque chose de nettement moins original, vu que l'IA recrache des trucs qui existent déjà.

En fait, dans "intelligence artificielle", j'ai l'impression que c'est surtout le côté artificiel qui ressort et que, pour l'intelligence, il faudra repasser.

Merci en tout cas pour l'explication de cette histoire de dés @Thalweg : du coup, je comprends mieux pourquoi certaines machines de traduction ne sont pas capables de s'en tenir à une seule traduction possible, déterminée en fonction du contexte, quand il y a plusieurs possibilités, mais une seule qui convient dans un contexte donné. En général, elles utilisent toutes les options possibles à tour de rôle, dans l'optique qu'il y en aura bien une qui tombera juste. (et du coup, on me paye pour harmoniser tout ça et enlever les non-sens manifestes )

[Brunehilde]

@baptiste : j'ai eu le même souci après avoir demandé des précisions sur un sujet d'éducation, l'IA m'a prise direct pour un prof et influençait mes autres demandes en ce sens... J'ai juste fini par lui dire que je ne lui avait jamais dit mon métier et que c'était faux, elle a admis qu'elle avait extrapolé ce point .
Je suppose que tu es pris pour un artisan purement médiéval maintenant.
Faudra avoir une discussion avec ton interlocuteur

[Thalweg]

Bon pour ça, ça dépend de ce qui va être inclus dans le contexte (ce qui va être envoyé à chaque message):
* les prompts dit "système" (en gros le créateur du modèle—OpenAI, Anthropic etc—va écrire des principes que le modèle est sensé respecter)
* l'historique de la conversation
* ce que le modèle a enregistré d'important sur l'utilisateur
* probablement d'autres trucs (genre des instructions pour une procédure, des recherches web...)

Et du coup si le modèle a enregistré un truc "médiéval" vous imaginez bien que l'axe "chevaliers et châteaux forts" va se voir moultes fois élevé, avec effets que vous avez pu mirer...

Pour l'admission d'avoir extrapolé, à nouveau on en revient à prédire les mots qui suivent: les mots les plus probables suite à la mention d'une erreur ça reste dans le registre de l'excuse... Sincèrement, à chaque génération il faut vraiment comprendre que l'IA répond à la question: "quel est le mot suivant le plus probable?".

Concernant les jets de dès c'est un paramètre qu'on appelle la température et qui va globalement dire quel genre de dé vous utiliser pour choisir: au minimum c'est un d1 et une seule réponse possible, la plus probable. Puis vous allez ajouter des faces et donc le nombre de choix: il est facile de comprendre qu'un d20 amènera plus de choix possibles qu'un d6...

[Swinn]

Avez-vous déjà exploré les paramètres de votre profil utilisateur ?

Il y a un onglet personnalisation dans lequel vous pouvez notamment indiquer toutes les instructions que vous souhaitez quant à la réponse.
Style, niveau de langage, précision des boucles rétroactives de contrôle, statut du LLM : professeur, ami, spécialiste....
Les réponses peuvent grandement changer en fonction des paramètres de base que vous choisissez