Auditer les appuis factuels d’un débat
La vocation de Metamorfon — confronter plusieurs modèles sur des questions exigeantes — produit des échanges où se mêlent rapidement arguments, chiffres, attributions, références bibliographiques, exemples empiriques et jalons historiques.
Cette densité fait partie de l’intérêt de l’exercice. Elle crée aussi un problème particulier : une même réponse peut contenir des affirmations correctement étayées, d’autres seulement approximatives et d’autres encore appuyées sur une référence plausible qui ne dit pas exactement ce qu’on lui fait dire.
Cette hétérogénéité est bien documentée dans l’évaluation des productions longues de modèles de langage. FActScore, par exemple, part précisément du constat qu’un texte peut combiner des informations soutenues et non soutenues et qu’un jugement global sur sa factualité masque cette diversité. Sa méthode décompose donc les productions en faits élémentaires vérifiables séparément.
Le mode Vérification des sources répond à un problème voisin dans le contexte particulier de Metamorfon : il ne cherche pas à déclarer une réponse entière « fiable » ou « non fiable », mais à contrôler les appuis factuels qui portent effectivement l’argumentation.
Un périmètre volontairement limité
La Vérification des sources n’est pas un fact-checking généraliste et ne juge pas la « vérité » des idées débattues.
Une thèse épistémologique — « le diagnostic décrit-il une réalité ou la fabrique-t-il ? » —, une proposition normative — « la psychiatrie doit devenir réflexive » — ou une interprétation prospective — « l’inhabitabilité deviendra systémique » — ne sont pas, sous cette forme, des faits qu’une recherche externe pourrait simplement confirmer ou infirmer.
Le mode les écarte donc de son périmètre.
Il s’intéresse aux affirmations pour lesquelles une confrontation avec des sources externes a un sens : attribution à un auteur ou à une institution, contenu d’une étude, chiffre, date, ordre de grandeur, cas empirique, mécanisme présenté comme établi, exemple mobilisé comme preuve.
Cette distinction protège le mode d’une promesse qu’il ne pourrait pas tenir : arbitrer le fond d’un débat intellectuel par une recherche documentaire.
Être vérifiable ne suffit cependant pas pour être audité en priorité. Une date périphérique et une prémisse empirique dont dépend toute une conclusion n’ont pas le même poids.
La question centrale devient donc : si cette affirmation était fausse ou sensiblement déformée, que resterait-il de l’argument qui s’appuie sur elle ?
Vérifier au niveau de l’affirmation
Le mode extrait les affirmations vérifiables dans un registre. Il ne traite pas une réponse comme un bloc indivisible.
Ce choix rejoint une évolution importante des méthodes d’évaluation factuelle : la vérification devient plus robuste lorsqu’elle porte sur des affirmations suffisamment précises pour qu’on puisse rechercher ce qui les soutient ou les contredit. FActScore adopte cette logique en décomposant les générations longues en faits atomiques avant de les confronter à une source de connaissance.
Metamorfon n’applique pas FActScore et ne cherche pas à produire son score. Il retient le même principe général de granularité : une affirmation identifiable, une vérification identifiable.
Chaque élément du registre est rattaché à son tour et, lorsque l’attribution peut être établie avec suffisamment de confiance, à son locuteur.
Si plusieurs voix d’un même tour pourraient avoir produit la formulation — par exemple après une citation croisée ou une reprise ambiguë —, le rapport ne force pas l’attribution. Le tour et la citation suffisent.
Une attribution absente vaut mieux qu’une attribution inventée.
La Vérification des sources ne remplace donc pas l’Évaluation argumentative. Elle n’examine ni la force logique d’une objection, ni la charité interprétative, ni la cohérence globale d’un raisonnement. Elle contrôle les éléments factuels dont ce raisonnement se sert.
Prioriser la charge argumentative
Le modèle choisi pour l’analyse conduit toute la chaîne : il constitue le registre, sélectionne les affirmations prioritaires puis les vérifie. La différence entre les étapes ne tient pas au modèle utilisé, mais à l’accès ou non à la recherche web.
Une fois le registre constitué, sans recherche externe, l’analyseur relit le débat et retient au plus dix propositions porteuses, classées par poids argumentatif décroissant.
En tête vient l’affirmation dont l’effondrement fragiliserait le plus fortement les conclusions auxquelles le débat est arrivé.
Peuvent ainsi recevoir un poids élevé :
- une prémisse empirique centrale ;
- un chiffre qui fixe l’ordre de grandeur du problème ;
- un cas présenté comme preuve ;
- un mécanisme causal dont dépend une conclusion ;
- une étude ou une institution invoquée pour trancher un point disputé ;
- un élément factuel décisif introduit dans une réfutation.
À l’inverse, une date de contexte, une référence illustrative ou une citation d’arrière-plan pèse peu tant qu’aucun argument important n’en dépend.
Le simple fait qu’une source soit nommée ne lui donne pas automatiquement davantage de poids.
Le mode ne complète pas artificiellement la sélection jusqu’à dix éléments. Il exclut également les jugements normatifs non ancrés et les appréciations portant sur la seule cohérence argumentative.
Cette hiérarchisation est une règle propre à Metamorfon. Elle ne prétend pas identifier toutes les affirmations dignes d’intérêt ; elle cherche à consacrer l’effort de vérification à celles dont dépend le plus fortement l’architecture argumentative de la session.
Recherche externe et traçabilité de la preuve
Une fois les propositions sélectionnées, la recherche web est activée et la file est auditée par lots de cinq.
Lorsque cette file est épuisée, une nouvelle relance déclenche une nouvelle sélection : les propositions suivantes sont choisies, toujours par poids argumentatif décroissant, sans revenir sur celles déjà auditées.
Ce n’est que lorsqu’il ne reste plus de proposition porteuse qu’une passe supplémentaire peut contrôler certaines références bibliographiques restées hors de la sélection principale.
Si la session a continué entre-temps ou si le modèle d’analyse change, la sélection est reconstruite.
Le rapport indique combien d’affirmations ont été examinées pendant la passe, lesquelles restent sans conclusion ou hors périmètre, et combien attendent encore dans la file.
Un même chiffre repris par plusieurs voix ou plusieurs tours peut être signalé comme une circulation de l’affirmation. Cela ne constitue ni un nouveau contrôle indépendant ni nécessairement un désaccord.
Les requêtes de recherche effectivement exécutées sont affichées sous le rapport, avec le nombre de recherches utilisées.
Surtout, aucun verdict fort — « confirmé », « incorrect », « mal attribué » — n’est admis sans une source externe retrouvée pendant cette vérification. La mémoire du modèle ne suffit pas. Le simple fait que le débat fournisse lui-même une référence ne suffit pas non plus.
Cette distinction entre présence d’une citation et support réel de l’affirmation est importante. Le benchmark ALCE, consacré aux réponses générées avec citations, évalue précisément la qualité du lien entre les affirmations produites et les sources censées les soutenir. Ses résultats montrent qu’une réponse peut comporter des citations sans que toutes ses affirmations soient pour autant complètement étayées.
Une référence n’est donc pas une preuve par sa seule présence : encore faut-il qu’elle soutienne réellement l’énoncé auquel elle est associée.
Un seuil conservateur pour « confirmé »
Metamorfon impose à son verdict « confirmé » une règle volontairement stricte.
Il n’est attribué que lorsqu’un passage de la source, reproduit verbatim dans sa langue d’origine, énonce effectivement le fait contrôlé — et non une affirmation voisine dont l’analyseur pourrait raisonnablement déduire la conclusion.
Cette exigence n’est pas présentée comme une norme universelle du fact-checking. C’est un choix de conception : empêcher le modèle vérificateur de transformer sa propre inférence en preuve externe.
Le rapport reste dans la langue de la session ; seule la citation probante conserve la langue originale de la source.
Lorsque la source va globalement dans le sens de l’affirmation mais diverge sur le périmètre, l’année, l’intitulé, l’ordre de grandeur ou une attribution, le verdict doit refléter cette différence plutôt que l’effacer.
Le vocabulaire fermé comprend ainsi notamment :
confirmé, partiellement correct, incorrect, mal attribué, non vérifiée, non vérifiable, hors périmètre.
Des verdicts gradués plutôt qu’un vrai/faux
Une vérification sérieuse produit souvent autre chose qu’un verdict binaire.
Le corpus FEVER, l’un des travaux fondateurs de la vérification automatique d’affirmations contre des preuves textuelles, distinguait déjà trois situations : Supported, Refuted et Not Enough Info. Pour les deux premiers verdicts, les annotateurs devaient également identifier les phrases servant de preuve.
Le vocabulaire de Metamorfon est différent et plus détaillé, mais le principe est comparable : ne pas transformer l’insuffisance de preuve en réfutation.
Une étude peut exister sans soutenir exactement le chiffre qui lui est attribué. Un auteur peut défendre une idée proche sans avoir formulé la proposition précise qu’on lui prête. Un résultat peut être juste pour une population et devenir excessif lorsqu’il est généralisé.
Dans ces cas, « partiellement correct » n’est pas un verdict de faiblesse ou d’indécision. Il décrit une relation précise entre l’affirmation et les preuves disponibles.
De même, « non vérifiée » ne signifie pas « fausse ». Cela peut simplement indiquer qu’aucune recherche suffisante n’a encore permis de trancher.
La nuance n’est donc pas un défaut résiduel de la vérification : elle constitue une partie de son résultat.
Coût, couverture et dépendance à l’analyseur
Cette méthode demande davantage de ressources qu’une analyse purement interne.
La première passe doit relire le débat, constituer le registre, classer les affirmations et lancer de véritables recherches externes. Les passes suivantes peuvent être plus rapides lorsqu’elles puisent dans une file déjà constituée ; une nouvelle sélection — parce que la file est épuisée, que la session a continué ou que le modèle a changé — nécessite de reprendre une partie de ce travail.
Chaque passe vérifie au plus cinq propositions et chaque sélection en retient au plus dix. Une session dense peut donc nécessiter plusieurs relances pour obtenir une couverture étendue.
La sélection elle-même constitue en outre un jugement du modèle d’analyse. Elle est effectuée avant la recherche web : le modèle décide quelles affirmations lui semblent porter le plus de charge argumentative.
Cette hiérarchie peut être discutable. Deux analyseurs pourraient ne pas classer exactement les mêmes propositions dans le même ordre.
Le rapport ne doit donc pas être lu comme un recensement exhaustif de tous les points factuellement importants du débat, mais comme un audit priorisé à partir d’un corpus et d’un analyseur déterminés.
Le mode dépend également de l’accessibilité documentaire. Certaines publications sont directement accessibles ; d’autres ne le sont qu’à travers un résumé, une page institutionnelle ou des sources secondaires. Un paywall, une source disparue ou une documentation insuffisante peuvent limiter ce que l’analyse permet de conclure.
Enfin, tous les débats ne justifient pas ce coût. Sur une session essentiellement conceptuelle ou normative, la Vérification des sources peut n’avoir presque rien de pertinent à auditer.
Une aide à l’examen, pas une certification
La Vérification des sources ne transforme pas Metamorfon en autorité factuelle.
Ses verdicts restent ceux d’une passe limitée, conduite à partir de sources accessibles et interprétées par un modèle. Ils ne constituent ni une certification exhaustive de la session ni une garantie que toute source retrouvée est elle-même exempte d’erreur.
Cette prudence vaut également pour l’assistance que les modèles peuvent fournir pendant le processus de vérification.
Une étude expérimentale de Si et al., Large Language Models Help Humans Verify Truthfulness – Except When They Are Convincingly Wrong, montre que des explications générées par des LLM peuvent aider des utilisateurs à vérifier des affirmations plus efficacement, mais aussi favoriser une confiance excessive lorsque l’explication fournie est erronée.
La capacité d’un modèle à produire une justification convaincante ne doit donc pas être confondue avec la solidité de cette justification.
C’est précisément pourquoi le rapport expose ses sources, ses requêtes, ses citations probantes et ses limites plutôt que de demander à l’utilisateur de faire confiance à un verdict opaque.
Le jugement humain reste décisif
La fonction du mode est de rendre certains points du débat plus inspectables.
Il peut signaler qu’une attribution est trop large, qu’un chiffre n’est confirmé que pour un périmètre plus étroit, qu’une étude fréquemment citée ne soutient pas exactement la proposition avancée, ou qu’aucune preuve exploitable n’a encore été retrouvée.
Il ne décide pas à la place de l’utilisateur de ce que cette correction implique pour l’ensemble du raisonnement.
Une prémisse partiellement fragilisée peut suffire à faire tomber une conclusion dans un argument et n’avoir qu’un effet marginal dans un autre. Cette appréciation appartient à l’analyse argumentative et, en dernier ressort, au lecteur.
Pour les sessions à forte charge factuelle, croiser les sources reste également préférable à une dépendance excessive envers une référence unique. Une source primaire peut être complétée par une réplication, une revue, une base institutionnelle ou une critique méthodologique lorsque le sujet l’exige.
La pluralité ne garantit pas automatiquement la vérité, mais elle rend plus visible la différence entre une affirmation corroborée par plusieurs éléments indépendants et une proposition qui ne repose que sur une chaîne unique de reprises.
La Vérification des sources prolonge ainsi la logique générale de Metamorfon sur un autre terrain : après avoir confronté des positions entre elles, elle confronte certains de leurs appuis factuels à des éléments extérieurs au débat.
Son intérêt n’est pas de produire une apparence de certitude supplémentaire, mais de rendre plus nette la frontière entre ce que le dialogue affirme, ce que les sources permettent effectivement de soutenir et ce qui reste encore à établir.
Références
- Sewon Min et al., FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation, EMNLP 2023 — décomposition des productions longues en faits atomiques et évaluation séparée de leur support factuel.
- Tianyu Gao et al., Enabling Large Language Models to Generate Text with Citations, EMNLP 2023 — qualité des citations, couverture des affirmations et distinction entre présence d’une référence et support effectif.
- James Thorne et al., FEVER: a Large-scale Dataset for Fact Extraction and VERification, NAACL 2018 — vérification d’affirmations à partir de preuves textuelles et distinction entre affirmation soutenue, réfutée et information insuffisante.
- Chenglei Si et al., Large Language Models Help Humans Verify Truthfulness – Except When They Are Convincingly Wrong, NAACL 2024 — utilité des explications produites par les LLM pour la vérification humaine et risque de surconfiance lorsqu’elles sont erronées.