Tester un prompt : trois cas plutôt qu’un bon résultat
GRATUIT: Plus de 50 prompts IA prêts à l'emploi pour votre activité
Vous écrivez un prompt, la réponse est bonne, vous le rangez. La semaine suivante, le même prompt rend quelque chose d’inutilisable. Vous le relisez : il n’a pas changé d’une virgule. Ce qui a changé, c’est le cas sur lequel vous l’avez lancé.
Un prompt qui marche une fois n’est pas un prompt qui marche. C’est un prompt qui a eu un cas facile. Et comme on écrit toujours ses prompts sur l’exemple qu’on a sous la main, l’exemple sous la main est presque toujours un cas facile.
Cet article porte sur la qualité du résultat, pas sur le temps gagné — ça se mesure autrement, et mesurer ce que l’usage vous fait gagner s’en occupe. Il suppose que votre prompt est déjà construit sur un cadre : la méthode de référence pour écrire un prompt.
Le critère d’acceptation s’écrit avant la première réponse
Une phrase, avant de lancer : « ce résultat est acceptable si… ». Si vous ne savez pas l’écrire, vous ne testez rien. Vous jugez à l’impression, et l’impression suit la fluidité du texte, pas son utilité.
Un critère utile est observable. « Le message répond à la question posée et ne contient aucun engagement que je n’ai pas pris » se vérifie en trente secondes. « C’est bien écrit » ne se vérifie pas, et vous répondrez oui ou non selon votre humeur.
Cette phrase a un second usage : c’est elle qui dit si l’usage est délégable. Un usage dont vous ne savez pas écrire le critère d’acceptation n’est pas prêt à être confié, quel que soit le prompt — c’est le tri que fait savoir si l’usage mérite d’être confié.
Trois cas, pas trois essais
L’erreur de méthode la plus répandue est de relancer le même prompt sur le même cas jusqu’à obtenir une sortie satisfaisante. Ça ne mesure qu’une chose : la variabilité de l’outil. Ça ne dit rien de votre consigne.
Prenez trois entrées volontairement différentes, prises dans votre matière réelle :
- Le cas facile : la matière est complète, claire, bien rangée.
- Le cas pauvre : il manque la moitié des informations nécessaires.
- Le cas limite : une contradiction, une exception, ou un élément hors sujet glissé dedans.
Lancez le même prompt sur les trois, sans le modifier entre deux. C’est la règle qui rend le test exploitable : trois sorties obtenues avec trois versions différentes de la consigne ne se comparent pas.
Ce qu’on regarde : l’écart, pas la moyenne
| Ce que vous observez | Ce que ça dit | Ce que vous corrigez |
|---|---|---|
| Les trois sorties demandent la même petite reprise | Le prompt est stable | Rien : vous le rangez, avec les trois cas |
| Le cas facile passe, le cas pauvre s’écroule | Il manque une consigne sur ce qu’il faut faire quand une information manque | Une contrainte, pas une meilleure formulation |
| Le cas limite est traité comme un cas normal | L’exception a été absorbée sans être signalée | Une contrainte qui dit quoi en faire : signaler, s’arrêter, ou laisser vide |
| Les trois sorties sont bonnes mais de formes très différentes | Le format n’est pas décrit | Le bloc format, qui était resté implicite |
Un bon prompt est un prompt dont les trois sorties ratent de la même façon. C’est la régularité qui se répare en une correction ; une réussite isolée ne se répare pas, puisqu’on ne sait pas d’où elle venait.
Construire les trois cas est le travail pénible de la méthode. Autant le faire faire, à condition d’interdire à l’outil de juger votre consigne au passage :
Voici une consigne que j’utilise avec toi : [collez votre prompt].
Contexte : je produis ce livrable pour [qui, dans quelle situation].
Demande : construis trois jeux de données d’entrée pour tester cette consigne — un cas complet, un cas où il manque la moitié des informations nécessaires, et un cas qui contient une contradiction ou une exception.
Contraintes : n’évalue pas ma consigne, ne la réécris pas et ne la commente pas. Les trois cas doivent être du même type que ce que je traite réellement. Tous les noms et les chiffres doivent être manifestement fictifs.
Format : trois blocs titrés, chacun prêt à être collé tel quel.
Mon contexte n’est pas le vôtre, et ces trois cas ne se transposent pas d’une activité à l’autre. Ce qui se transpose, c’est de garder le jeu de trois cas rangé avec le prompt. Un prompt rangé seul ne sera jamais retesté : vous n’aurez pas le courage de refabriquer les cas le jour où il se dégradera.
Un dernier contrôle, qui prend une minute
Les trois cas se lancent en dix minutes. Le contrôle qui les complète se fait le lendemain : relisez la sortie sans relire la demande, et demandez-vous si vous l’enverriez telle quelle.
Une sortie qu’on trouvait bonne juste après l’avoir obtenue paraît souvent vide vingt-quatre heures plus tard. La raison est simple : au moment où vous la lisez, vous complétez mentalement avec ce que vous aviez en tête en écrivant la demande. Votre lecteur, lui, n’a pas cette tête-là.
L’erreur fréquente : corriger le prompt entre deux cas
Si vous modifiez la consigne après le cas facile, puis que vous lancez le cas pauvre, vous ne comparez plus rien. Les trois cas passent avec la même version, vous notez les trois résultats, et vous corrigez après — une seule chose à la fois, puis vous relancez les trois.
Et quand une sortie ne rate pas de peu mais franchement, ce n’est plus un test qu’il faut, c’est un diagnostic : le diagnostic d’un prompt qui ne donne rien.
La limite, dite franchement : ce test dit si un prompt est stable sur les cas que vous lui donnez. Il ne dit pas si le livrable sert à quelque chose, ni s’il vous fait gagner du temps. Un prompt parfaitement stable sur un usage inutile reste un prompt inutile.
À vous : trente minutes
- Prenez le prompt que vous utilisez le plus souvent.
- Écrivez en une phrase ce qui rend sa sortie acceptable.
- Construisez les trois cas, ou faites-les construire avec le prompt ci-dessus.
- Lancez les trois sans rien changer, et notez ce que chaque sortie demande comme reprise.
Vous saurez que ça marche quand les trois reprises seront identiques. À ce moment-là, une seule correction règle les trois cas — et c’est la définition pratique d’un prompt qu’on peut ranger et réutiliser.
Les prompts de la bibliothèque IATOLL sont écrits pour tenir sur une matière incomplète : c’est la contrainte de signalement, présente dans chacun, qui fait ce travail.
Bibliothèque IATOLL
Plus de 100 prompts IA prêts à l’emploi pour votre activité
Classés par usage, construits sur les cinq blocs du guide.
Cet article a été structuré et rédigé avec l’aide de l’IA, à partir d’un plan de contenu construit à la main, puis relu et corrigé phrase par phrase.