Quand la richesse d’un débat devient un point de vigilance
La vocation de Metamorfon — confronter dialectiquement plusieurs modèles sur des questions exigeantes — produit des échanges d’une densité conceptuelle inhabituelle : sur quelques tours, les modèles convoquent des dizaines d’attributions, de statistiques et de jalons historiques. Cette richesse est la valeur même de l’exercice ; elle en est aussi le point de vigilance. Car plus un modèle multiplie les références précises, plus il expose une limite connue de sa logique probabiliste : la citation plausible mais inexacte. Le mode Vérification des sources répond exactement à ce point — non pour vérifier les faits, mais pour auditer, lorsque la matière le justifie, les attributions et les chiffres avancés au fil du débat.
Ce que ce mode vérifie — et ce qu’il ne vérifie pas
Il faut lever d’emblée un malentendu : la Vérification des sources n’est pas un fact-checking généraliste, et elle ne juge pas la « vérité » des idées débattues. Une thèse épistémologique (« le diagnostic décrit-il une réalité ou la fabrique-t-il ? »), une projection normative (« la psychiatrie doit devenir réflexive »), une interprétation prospective (« l’inhabitabilité deviendra systémique ») ne sont pas des faits vérifiables par une source externe : ce sont des prises de position conceptuelles. Le mode les exclut explicitement de son périmètre.
Ce qu’il audite, ce sont les affirmations vérifiables : celles qui s’appuient sur un auteur nommé, une œuvre datée, un chiffre explicite (pourcentage, ratio, valeur). En somme, il vérifie qui dit quoi, et sur quelle base — pas si l’idée a raison. C’est une distinction modeste en apparence, mais décisive : elle circonscrit le mode à ce qu’il peut réellement contrôler, et le protège de la promesse intenable d’arbitrer le fond.
Comment il procède
Au fil du débat, le mode extrait les affirmations vérifiables dans un registre, en leur attribuant un identifiant stable. Pour chaque affirmation retenue, il formule une requête et effectue une recherche web afin de confronter la référence invoquée à des sources accessibles. Le résultat prend la forme d’un verdict nuancé — confirmée, partiellement correcte, non retrouvée, non vérifiée, hors périmètre — assorti d’un détail explicatif et des sources consultées.
Deux propriétés méritent d’être soulignées, car elles conditionnent la fiabilité du résultat :
– L’audit dépend d’une recherche web réellement effectuée. Si le modèle sollicité n’a pas exécuté de recherche, aucun verdict ne peut être tenu pour fiable : le mode le signale explicitement et invite à relancer avec un autre modèle. Une vérification fondée sur la seule mémoire du modèle reproduirait précisément le risque qu’elle est censée corriger.
– La couverture est incrémentale et bornée. Le budget de recherche est limité : à chaque passe, le mode priorise un sous-ensemble de 5 affirmations et signale honnêtement celles qu’il n’a pas pu contrôler. Un audit ne prétend jamais à l’exhaustivité ; il avance par couches successives.
Cette priorisation n’a rien d’arbitraire : le mode cible d’abord les affirmations à la fois les plus vérifiables et les plus à risque — les attributions à un auteur ou une œuvre nommés, et les chiffres précis avancés sans source (un pourcentage, un ratio). Les énoncés purement interprétatifs sont écartés, et les affirmations de moindre enjeu sont différées à une passe ultérieure. À budget limité, l’audit concentre son effort là où une citation erronée aurait le plus de poids.
Cette exigence a un coût : parce qu’il effectue de vraies recherches web et relit l’ensemble du débat pour en extraire puis vérifier les affirmations, souvent en plusieurs passes, le mode Vérification des sources est sensiblement plus coûteux qu’un autre mode d’analyse. C’est une raison de plus de le réserver aux sessions où la matière factuelle le justifie.
Un exemple : un débat sur les zones inhabitables en 2100
Pour rendre tout cela concret, prenons une session consacrée à une question à fort contenu factuel : quelles zones deviendront inhabitables pour l’homme à l’horizon 2100 ? Le débat, dense, mobilise une bibliographie scientifique nourrie — Sherwood & Huber (2010), Im et al. (2017), Kang & Eltahir (2018), Pal & Eltahir (2015), les rapports du GIEC, le rapport Groundswell de la Banque mondiale. Autant d’occasions, pour les modèles, de citer juste — ou de glisser.
L’audit produit ici toute une gamme de verdicts, et c’est précisément ce qui le rend instructif.
Une référence confirmée. L’affirmation selon laquelle le niveau moyen des mers s’est élevé d’« environ 3,7 mm/an sur 2006-2018 » est confirmée : le chiffre correspond aux données du sixième rapport du GIEC.
Une imprécision terminologique réelle mais subtile. Un modèle attribue des projections « aux trajectoires RCP4.5–8.5 du sixième rapport du GIEC (2021) ». Le verdict est partiellement correct : le document existe bien, l’année est exacte, mais l’AR6 (2021) repose sur les scénarios SSP, tandis que les RCP étaient le cadre du rapport précédent (AR5). L’attribution est juste sur l’essentiel, fautive sur la nomenclature. C’est exactement le type d’erreur qu’un lecteur pressé ne verrait pas et qu’un modèle peut propager avec aplomb.
Un chiffre sans source identifiable. Un modèle avance qu’une bascule migratoire « survient lorsque 80 à 120 millions de personnes doivent se déplacer en moins de quinze ans ». Verdict : non retrouvée. Aucune publication ne documente ce seuil ; le rapport Groundswell parle de 216 millions de déplacés internes d’ici 2050. La fourchette avancée a toutes les apparences d’une donnée sourcée, mais elle a été construite par le modèle pour les besoins de son raisonnement. C’est là que la Vérification des sources rend son service le plus net : distinguer le chiffre attesté du chiffre vraisemblable.
Une référence qui ne se trouve pas telle qu’elle est citée. Un modèle invoque « Seager et al., 2013 » dans le Journal of Climate à propos de la sécheresse au Moyen-Orient et en Méditerranée orientale. L’audit ne crie pas à l’invention, mais relève un écart révélateur : Seager est bien un auteur reconnu sur l’aridification, avec des travaux dans Science (2007) et dans le Journal of Climate à plusieurs dates — mais aucune publication de 2013 correspondant à ce périmètre n’apparaît, les résultats renvoyant plutôt à 2009, 2014 et 2016. Verdict : non vérifiée. Faute de budget pour pousser plus loin, le mode s’abstient d’affirmer une fabrication qu’il ne peut établir avec certitude, et retient le qualificatif prudent plutôt que l’accusation. C’est une nuance qui dit beaucoup de la discipline de l’outil : signaler une référence introuvable en l’état — probable erreur de date ou de revue — sans condamner au-delà de ce qu’il a vérifié.
Une attribution presque exacte. La référence au discours de Mark Carney Tragedy of the Horizon (2015) est jugée partiellement correcte : bon auteur, bonne année, mais titre tronqué — l’intitulé exact est « Breaking the Tragedy of the Horizon – climate change and financial stability ». Une nuance mineure, mais le mode la relève.
La nuance comme résultat, pas comme défaut
On pourrait attendre d’un outil de vérification qu’il tranche par oui ou par non. L’expérience montre le contraire, et c’est instructif. Sur une autre session — un débat sur le diagnostic psychiatrique (autisme, TDAH) —, l’audit a rendu, sur l’ensemble des affirmations examinées, un verdict uniforme : partiellement correct. Une attribution à « Volkow et al. (2009) », par exemple, renvoie bien à un article réel sur le TDAH et la dopamine, mais l’affirmation y rattachait aussi un volet « noradrénergique » que cet article précis ne couvre pas : exact sur l’essentiel, trop large dans l’attribution.
Loin d’être un échec, cette monochromie dit quelque chose de juste : sur des sujets scientifiques réels, presque rien n’est totalement vrai ni totalement faux. La plupart des affirmations sont correctes dans leur direction générale et imprécises dans leur détail. Un mode qui multiplierait les « confirmé » nets serait suspect ; la nuance est ici la marque d’un audit sérieux, pas d’une indécision.
Limites assumées
La Vérification des sources est une aide à l’examen, pas une autorité. Ses limites doivent être tenues à vue :
– Elle dépend de la qualité et de l’accessibilité des sources web ; les articles derrière un paywall ne sont souvent approchés que par des sources secondaires.
– Elle ne couvre qu’une partie des affirmations d’un débat dense, par construction (budget borné, priorisation).
– Elle ne s’applique utilement qu’aux sessions à forte densité factuelle : un échange purement conceptuel ou normatif offre peu à auditer. D’où l’idée d’y recourir dans certains cas, proportionnellement à la matière vérifiable.
– Ses verdicts sont indicatifs : ils reflètent une passe limitée, non une certification exhaustive.
L’utilisateur reste l’arbitre final
La friction entre modèles révèle souvent des asymétries de fiabilité factuelle ; la Vérification des sources les rend visibles et documentées. Mais elle ne dispense jamais du jugement humain. Elle met en évidence les points à corroborer — une attribution trop large, un chiffre sans source, un titre déformé — et laisse à l’utilisateur le soin de conclure. Pour les sessions à fort enjeu factuel, croiser plusieurs angles de vérification demeure plus solide que de s’en remettre à une source unique : la même logique de pluralité épistémique qui anime Metamorfon entre les modèles s’applique à la vérification elle-même.
C’est sans doute la meilleure manière de comprendre ce mode : non comme un verdict final sur le vrai, mais comme un instrument qui rend le travail de vérification plus rapide, plus ciblé et mieux outillé — sans jamais prétendre s’y substituer.
En confrontant les modèles non plus seulement entre eux mais à des sources externes, le mode Vérification des sources donne à Metamorfon un poste d’observation du comportement des IA en situation de débat : un lieu où leurs manières de raisonner, leurs angles morts et, désormais, leur fiabilité factuelle deviennent visibles et documentables.