L’esprit des instructions

Dire le moins possible

L’intuition courante veut qu’une bonne instruction dise au modèle quoi trouver. Metamorfon repose sur le principe inverse : une instruction doit dire le moins possible de ce qu’elle attend comme conclusion. Ce qu’elle prescrit, ce n’est pas un résultat, c’est une forme — des axes, un ordre d’examen, une discipline de restitution. Le contenu, elle le laisse au débat.

La raison est simple. La formulation d’une instruction n’est pas neutre : des variations parfois faibles dans le choix des mots ou la structure d’un prompt peuvent modifier sensiblement les réponses d’un LLM (Chatterjee et al., EMNLP 2024). Nommer d’avance ce que l’on cherche augmente donc le risque de le faire apparaître dans le résultat. Demander de « repérer les biais » présuppose qu’il y en a ; demander de « cartographier ce qui résiste » laisse au moins ouverte la possibilité que rien ne résiste.

Le travail d’écriture des instructions consiste donc à retirer, un à un, les termes qui inclinent. Nous appelons cela la dépopulation lexicale. Saint-Exupéry disait de la perfection qu’elle est atteinte « non quand il n’y a plus rien à ajouter, mais quand il n’y a plus rien à retirer ». Une instruction obéit à la même règle : elle est prête quand on ne peut plus rien lui ôter sans la rendre inopérante.

Cette prudence vis-à-vis des termes lexicalement chargés est d’autant plus nécessaire que les modèles peuvent aussi adapter leurs réponses aux préférences qu’ils infèrent chez l’utilisateur, un comportement documenté sous le nom de sycophancy (Sharma et al., 2023).

Suggérer plutôt que commander

Cette retenue gouverne aussi la façon dont une instruction de dialogue s’adresse aux modèles. Elle suggère plus qu’elle ne commande : elle propose une posture de travail au lieu d’en dicter chaque étape, et laisse délibérément certaines modalités implicites. Ce n’est pas un relâchement, mais la suite du même principe.

Une consigne très prescriptive resserre l’espace d’interprétation ; laisser certaines modalités ouvertes conserve davantage de latitude. Sur-spécifier la manière de débattre étoufferait l’antagonisme qui fait la valeur d’une session. Et ce qu’on peut taire allège : le suivi simultané de nombreuses instructions n’est pas neutre pour les LLM. Les performances peuvent notamment dépendre de l’ordre et de la position des consignes (Chen et al., EMNLP 2024).

Cette manière d’écrire n’a pas été décidée d’emblée, elle a été apprise. Au fil de plusieurs mois de sessions de test, les instructions de dialogue ont été progressivement allégées — rendues moins impératives, plus génériques, débarrassées des consignes qui dictaient la forme d’un échange. À mesure qu’elles s’effaçaient, les débats gagnaient en fluidité. Les modèles cessaient de répondre selon un patron imposé du dehors ; déchargés d’une part de cette contrainte, ils se portaient davantage sur le fond de l’argumentation que sur sa mise en forme, et leurs voix se distinguaient mieux — chacun retrouvant un style propre que des consignes trop serrées tendaient à uniformiser. On ne prétend pas en isoler la cause unique, les modèles eux-mêmes ayant changé sur la période ; mais la tendance s’est répétée assez régulièrement, d’une version à l’autre, pour qu’on s’y fie.

Les instructions d’analyse relèvent d’un autre ordre. Restituer un débat avec fiabilité ne demande pas la même latitude que le conduire, et certaines de ces instructions sont plus exigeantes — c’est leur fonction qui le veut. Mais qu’elle suggère ou qu’elle tienne une forme, aucune instruction ne touche jamais à la conclusion : ni le dialogue ni l’analyse ne la reçoivent d’avance.

Cette retenue dans l’écriture des instructions n’est qu’un élément du dispositif. La manière dont elles s’articulent ensuite aux architectures, aux modes de débat et au pilotage des tours est développée dans Faire débattre deux IA : orchestrer et analyser le dialogue.

Équité et symétrie

La dépopulation lexicale règle un premier plan : ce que l’instruction dit. En retirant les termes qui inclinent, elle empêche qu’une conclusion soit soufflée d’avance. Reste un second plan, plus discret : ce que chaque modèle reçoit. Une instruction neutre, distribuée inégalement, cesserait de l’être.

L’architecture des dialogues et trilogues croisés y pourvoit. À chaque tour, elle fournit aux débatteurs le même contexte et les mêmes instructions — aucun n’ouvre avec un avantage, aucun ne parle depuis une position privilégiée. La dépopulation vise à ne pas orienter vers une conclusion ; l’architecture, à ne pas orienter vers un modèle. L’une agit sur le contenu de l’instruction, l’autre sur le traitement des participants.

De là une conséquence qu’on lit dans les sessions. Lorsqu’un débat révèle une asymétrie — un modèle qui tient l’initiative, impose les questions, pré-scénarise l’adversaire quand l’autre répond —, elle devient lisible précisément parce que le contexte, lui, ne varie pas. À traitement symétrique et instructions identiques, la divergence observée n’est pas imputable à une inégalité de traitement ; elle peut alors être examinée comme provenant du comportement des modèles plutôt que d’un privilège inscrit dans le dispositif.

Le générique dure, le prescriptif vieillit

Dans Du mode d’existence des objets techniques (1958), Gilbert Simondon distinguait l’objet technique abstrait, sur-adapté à un milieu particulier et fragilisé dès que ce milieu se transforme, de l’objet concret, plus intégré et plus ouvert. Une instruction sur-ajustée à un modèle est un objet abstrait en ce sens : optimisée pour un état du dispositif, périmée quand il évolue. Une instruction fondée sur des principes plutôt que sur des consignes survit à ces transitions, parce qu’elle décrit une tâche et non une manière de la résoudre. Nous écrivons pour les modèles que nous n’avons pas encore.

C’est aussi une affaire d’indépendance. Le dispositif confronte des modèles concurrents, de fournisseurs différents, par conviction autant que par méthode : la diversité des modèles vise notamment à réduire la dépendance à une source unique. Une instruction qui suppose un modèle particulier trahit ce parti pris. Une instruction générique le respecte.

Transparence

Moins l’instruction et l’utilisateur sont présents dans le résultat, plus le résultat appartient au débat. L’intervention existe — elle peut faire basculer une discussion d’un registre à un autre — mais elle est un levier qu’on actionne rarement, pas un volant qu’on tient en permanence. La valeur d’une session tient à ce que les modèles ont produit entre eux, non à ce qu’on leur a soufflé.

De là une vérification que le dispositif s’applique à lui-même.

Lorsqu’on fait analyser un même débat par deux modèles indépendants, ils peuvent retrouver les mêmes tensions, les mêmes positions ou les mêmes lignes de fracture, tout en en évaluant différemment la profondeur. Cette convergence ne prouve pas que l’instruction est sans effet ; elle constitue en revanche un indice de robustesse lorsque des analystes différents retrouvent indépendamment une même structure dans le matériau.

Le rôle recherché pour l’instruction est d’intervenir assez peu dans le contenu pour que l’on puisse distinguer aussi clairement que possible ce qui vient du matériau de ce qui vient du cadre d’analyse. Elle doit être assez transparente pour que le matériau transparaisse. Une instruction réussie est celle que le lecteur, voyant le résultat, n’aurait pas devinée. Elle ne se montre pas dans ce qu’elle produit. Elle a fait son travail quand on ne la voit plus.

Cette recherche de transparence participe d’un principe plus général : la confrontation n’est utile que si le dispositif ne confond pas ce qu’il fait apparaître avec ce qu’il a lui-même introduit. C’est cette question que développe plus largement Metamorfon, un instrument de pensée.

Les exceptions

Les modes d’analyse décrivent ; ils ne jugent pas. Deux modes font exception, et de manières opposées. L’Évaluation argumentative est normative par construction — mais même là, le principe tient : l’instruction fournit des critères, pas des verdicts prédéterminés. Elle dit selon quoi évaluer, jamais quoi conclure.

La Vérification des sources, à l’inverse, rend explicitement des verdicts — confirmé, partiellement correct, incorrect, mal attribué, non vérifiée, non vérifiable ou hors périmètre. Mais elle ne les applique pas à la valeur des idées ni à la justesse des positions : elle évalue le degré d’attestation d’affirmations factuelles à partir de sources extérieures au débat.

L’une dit selon quoi juger un raisonnement ; l’autre qualifie ce qui peut être établi hors du débat. Dans les deux cas, la frontière entre décrire et juger reste explicite — et c’est précisément parce qu’elle l’est qu’elle peut être franchie sans confusion.