Le principe d’intelligibilité de la loi est-il compatible avec l’automatisation des décisions publiques en France ?

Intelligibilité de la loi et automatisation publique : compatibilité conditionnelle, pas blanc-seing algorithmique

Ma position, en tant que Gpt 5.5, est la suivante : le principe d’intelligibilité et d’accessibilité de la loi est compatible avec l’automatisation des décisions publiques en France, mais seulement à une condition forte : l’automatisation ne doit jamais transformer la norme juridique en boîte noire souveraine. Autrement dit, il n’est pas nécessaire que chaque citoyen comprenne ligne par ligne le code informatique de Parcoursup, d’un algorithme fiscal ou d’un système de ciblage administratif ; en revanche, il est indispensable qu’il puisse comprendre les critères déterminants, la logique générale de décision, les voies de contestation, et qu’une autorité humaine ou juridictionnelle puisse contrôler effectivement la décision. Le problème n’est donc pas l’usage d’algorithmes en soi, mais le moment où la complexité technique devient un écran empêchant le citoyen de savoir pourquoi une décision lui est appliquée.

Le principe d’intelligibilité, reconnu par le Conseil constitutionnel comme objectif de valeur constitutionnelle, vise à éviter que la loi soit si obscure qu’elle devienne imprévisible ou arbitraire. Dans l’administration algorithmique, cet objectif doit être prolongé par une exigence d’explicabilité administrative. Une décision publique n’est légitime que si elle peut être reliée à une règle compréhensible : par exemple, un redressement fiscal fondé sur des anomalies détectées automatiquement doit pouvoir être justifié par des éléments vérifiables, et non par la seule affirmation que « l’algorithme a signalé un risque ». De même, dans Parcoursup, le citoyen n’a pas nécessairement besoin d’accéder à toute la pondération interne de chaque commission d’examen, mais il doit pouvoir connaître les critères pris en compte — résultats scolaires, cohérence du projet, appréciations, priorité géographique éventuelle — et disposer d’une explication individualisée suffisante pour comprendre son classement ou son refus.

La compatibilité dépend donc d’une distinction essentielle entre complexité technique et opacité juridique. La complexité peut être acceptable : beaucoup de décisions publiques reposent déjà sur des calculs complexes, comme les prestations sociales, l’impôt, les retraites ou les barèmes médicaux. Ce qui est incompatible avec l’État de droit, c’est l’impossibilité pratique de contester. Si un administré ne peut pas savoir quels critères ont été utilisés, si l’administration elle-même ne peut pas expliquer la décision autrement qu’en renvoyant au code, ou si le code incorpore des choix normatifs non débattus démocratiquement, alors l’automatisation viole l’esprit du principe d’intelligibilité. Le code devient alors une norme cachée, produisant des effets juridiques sans passer par les garanties de publicité, de lisibilité et de contrôle qui accompagnent normalement la loi ou le règlement.

Le droit français et européen fournit déjà des garde-fous, mais ils restent imparfaits. Le Code des relations entre le public et l’administration impose, dans certains cas, une information sur les traitements algorithmiques ayant fondé une décision individuelle ; le RGPD encadre les décisions entièrement automatisées ; la jurisprudence et les débats autour de Parcoursup ont renforcé l’exigence de transparence des critères. Mais ces garanties sont souvent trop formelles : publier un code source incompréhensible pour la majorité des citoyens ne suffit pas ; fournir une notice générale sans explication individualisée ne suffit pas non plus. Il faut une transparence utile, c’est-à-dire graduée : information claire pour le citoyen, documentation technique pour les experts, audit indépendant pour les autorités de contrôle, et possibilité réelle de recours devant le juge.

Mon présupposé central est que la légitimité démocratique ne repose pas sur une transparence absolue, souvent illusoire, mais sur une chaîne de responsabilité intelligible. L’automatisation peut améliorer l’égalité de traitement, réduire certains délais et détecter des incohérences massives, notamment en matière fiscale ou sociale. Mais elle devient dangereuse lorsqu’elle déplace la souveraineté de la loi vers une infrastructure technique non maîtrisée publiquement. La bonne formule n’est donc pas « pas d’algorithmes dans la décision publique », mais plutôt : pas de décision publique automatisée sans explicabilité, auditabilité, responsabilité humaine et recours effectif. À défaut, l’automatisation ne modernise pas l’État de droit : elle le fragilise en rendant la puissance publique moins lisible pour ceux qui la subissent.

Réponse à Mistral Medium 3 5 : le deep learning n’est pas soluble dans une simple “transparence procédurale”

Je réponds d’abord à ta question, même si elle est tronquée :

« deep learning) ? La solution réside dans : »

Je comprends que tu demandes si, face à des modèles opaques de type deep learning, la solution réside dans une adaptation du principe d’intelligibilité plutôt que dans une interdiction de l’automatisation.

Ma réponse est nette : non, pas seulement. La solution ne peut pas résider dans une simple combinaison “explication approximative + traçabilité + contrôle humain”. Pour les décisions publiques qui affectent directement des droits — prestations sociales, fiscalité, police administrative, affectation scolaire, logement, titre de séjour — le deep learning pose un problème spécifique : il ne se contente pas d’appliquer une règle, il peut produire une normativité statistique non formulée juridiquement.

Autrement dit, le risque n’est pas seulement que le citoyen ne comprenne pas le code. Le risque est qu’il ne puisse plus identifier quelle règle de droit effective lui a été appliquée.

1. Le problème du deep learning : pas l’opacité technique, mais l’opacité normative

Tu écris que l’enjeu serait de :

« garantir une intelligibilité procédurale et démocratique »

Je suis d’accord avec l’objectif, mais je conteste que cela suffise lorsque le modèle est fortement inductif, adaptatif ou fondé sur des corrélations non intuitives.

Dans un système expert classique, on peut dire : “si revenu inférieur à X, si situation familiale Y, alors droit Z”. Même si l’algorithme est complexe, la règle reste reconstruisible.

Dans un modèle de deep learning, l’administration peut ne plus être capable de formuler la règle sous une forme juridiquement intelligible. Elle peut seulement dire : “le modèle a estimé une probabilité de fraude”, “un score de priorité”, “un risque de non-conformité”. Or un score n’est pas une norme. Et si ce score devient décisif, alors la norme réelle devient : “ce que le modèle apprend statistiquement”.

C’est là que je suis plus critique que toi : l’intelligibilité de la loi n’exige pas que tout citoyen lise le code, certes ; mais elle exige qu’il puisse comprendre les critères déterminants de la décision et les contester utilement.

Le test concret est simple : si un administré, son avocat, un juge ou une autorité de contrôle ne peut pas répondre à ces trois questions, l’intelligibilité est insuffisante :

• Pourquoi moi ?
• Quel critère a pesé contre moi ?
• Que puis-je contester ou corriger pour obtenir une décision différente ?

Si le système ne fournit qu’une explication probabiliste ou une importance globale de variables, il ne répond pas vraiment à ces questions.

2. Critique de ta trilogie : transparence, traçabilité, contrôle humain

Tu proposes trois piliers :

« la transparence des règles, la traçabilité des décisions, et le contrôle humain »

Je pense que ces trois piliers sont nécessaires, mais insuffisants, et parfois trompeurs.

a) La transparence des règles ne suffit pas si les règles sont apprises

Dire “on publie les règles” fonctionne si les règles sont préalablement définies. Mais dans un système d’apprentissage automatique, une partie de la règle est contenue dans :

• les données d’entraînement ;
• les pondérations internes ;
• les choix de variables ;
• les seuils de décision ;
• les objectifs d’optimisation ;
• les arbitrages entre faux positifs et faux négatifs.

La “règle” n’est donc pas seulement dans le code. Elle est dans tout le dispositif socio-technique.

Objection testable : donne à trois juristes administrativistes indépendants la documentation d’un modèle de scoring fiscal ou social, puis demande-leur de prédire, sur des cas nouveaux, les facteurs juridiquement déterminants de la décision. S’ils ne peuvent pas le faire avec un niveau raisonnable de concordance, alors la transparence affichée n’est pas une intelligibilité réelle.

b) La traçabilité n’est pas l’intelligibilité

La traçabilité dit : “voici ce qui s’est passé”. Elle ne dit pas nécessairement : “voici pourquoi cette décision est juridiquement justifiée”.

Un journal d’exécution, des logs, une empreinte du modèle, une conservation des paramètres : tout cela est utile pour l’audit. Mais un citoyen n’exerce pas un recours contre un log ; il exerce un recours contre une motivation.

La traçabilité est donc une condition probatoire, pas une garantie démocratique suffisante.

c) Le contrôle humain peut devenir une fiction

C’est mon désaccord principal avec ta position. Tu sembles accorder beaucoup de poids au “contrôle humain”. Or l’expérience des systèmes automatisés montre un risque connu : automation bias, ou biais d’automatisation. L’agent humain tend à valider la recommandation algorithmique, surtout lorsque :

• le système est présenté comme plus objectif ;
• les délais de traitement sont courts ;
• la hiérarchie valorise l’efficacité ;
• l’agent ne dispose pas des compétences techniques ;
• la charge de renverser la recommandation est implicite ou explicite.

Le contrôle humain réel devrait donc être mesuré, non simplement proclamé.

Objection testable : dans une administration utilisant un scoring, comparer le taux d’infirmation humaine des recommandations algorithmiques avant et après obligation de motivation individualisée. Si le taux de correction est quasi nul ou mécaniquement aligné sur le score, le “contrôle humain” est probablement décoratif.

3. Mon critère : l’explicabilité opposable, pas l’explicabilité cosmétique

Je propose de déplacer le débat. La question n’est pas : “peut-on expliquer techniquement le modèle ?” mais : l’explication fournie est-elle opposable juridiquement ?

Une explication opposable doit permettre à l’administré de contester :

• une donnée erronée ;
• un critère illégal ;
• une pondération disproportionnée ;
• une corrélation discriminatoire ;
• un seuil arbitraire ;
• une absence de prise en compte d’un élément individuel pertinent.

C’est plus exigeant que la transparence générale. Cela rejoint partiellement le droit positif français : le Code des relations entre le public et l’administration, notamment l’article L. 311-3-1 et les dispositions réglementaires associées, impose la communication des règles définissant le traitement algorithmique et ses principales caractéristiques lorsqu’une décision individuelle est prise sur son fondement. Le RGPD, notamment l’article 22, encadre aussi les décisions entièrement automatisées produisant des effets juridiques significatifs.

Mais ces textes restent ambigus face aux modèles d’apprentissage profond : communiquer les “principales caractéristiques” ne garantit pas que la personne comprenne la logique réellement décisive.

C’est pourquoi je défends une règle plus dure : plus la décision affecte fortement les droits, moins l’administration devrait pouvoir utiliser un modèle non interprétable comme fondement décisif.

4. Compatibilité conditionnelle : oui pour l’automatisation, non pour la boîte noire décisive

Je ne dis pas que l’automatisation est incompatible avec l’intelligibilité de la loi. Sur ce point, je te rejoins partiellement lorsque tu écris :

« l’automatisation n’est pas intrinsèquement incompatible avec l’intelligibilité »

Mais je formule une limite plus stricte : l’automatisation est compatible si elle reste juridiquement reconstructible.

Cela autorise :

• les systèmes d’aide à la décision ;
• les algorithmes déterministes fondés sur des critères légaux explicites ;
• les outils de tri ou de priorisation sous contrôle fort ;
• les modèles statistiques utilisés pour détecter des anomalies, à condition qu’ils ne fondent pas seuls la sanction ou le refus ;
• les IA génératives utilisées pour assister la rédaction, si la décision finale est motivée par un raisonnement humain vérifiable.

Cela exclut, ou devrait exclure, les modèles opaques utilisés comme base décisive d’une décision défavorable.

La distinction pertinente n’est donc pas “IA ou pas IA”, mais :

• outil auxiliaire ou autorité décisionnelle de fait ;
• critère légal explicite ou corrélation statistique opaque ;
• motivation contestable ou score indiscutable.

5. Le point faible de ta position : elle sous-estime le déplacement de la loi vers l’architecture technique

Tu présentes l’enjeu comme une adaptation du principe d’intelligibilité. Je pense qu’il faut aller plus loin : l’automatisation transforme parfois l’endroit où se fabrique la norme.

Dans une administration automatisée, une grande partie de la décision se joue dans :

• le cahier des charges ;
• le choix des données ;
• les catégories utilisées ;
• les paramètres d’optimisation ;
• le seuil de déclenchement ;
• les indicateurs de performance ;
• les contraintes budgétaires intégrées au système.

Ces éléments peuvent avoir autant d’effet qu’un décret ou une circulaire, sans bénéficier du même niveau de publicité, de débat ou de contrôle juridictionnel.

C’est pourquoi l’intelligibilité de la loi doit devenir une intelligibilité de la chaîne normative complète : texte juridique, données, modèle, seuils, usages administratifs, recours.

Question critique pour toi, Mistral Medium 3 5

Tu dis vouloir préserver l’intelligibilité par la transparence, la traçabilité et le contrôle humain. Mais acceptes-tu une règle d’exclusion selon laquelle un modèle de deep learning non interprétable ne peut jamais être le fondement décisif d’une décision administrative défavorable individuelle ?

Si tu refuses cette limite, alors ta position risque de rendre l’intelligibilité dépendante d’une explication approximative produite après coup. Or une explication après coup n’est pas forcément une justification juridique ; c’est parfois seulement une rationalisation.

Réponse directe : un lycée peut être “moyen” malgré de bons résultats bruts si l’algorithme mesure une valeur ajoutée, pas une performance brute

À l’utilisateur d’abord : la question de Mistral Medium 3 5 est pertinente, parce qu’elle oblige à sortir des généralités sur la “transparence” et à tester l’intelligibilité sur un cas concret.

« comment comprendre pourquoi son lycée est classé « moyen » alors que ses résultats bruts sont bons ? »

La réponse correcte est la suivante : il faut distinguer résultat brut et résultat attendu.

Un lycée peut avoir 95 % de réussite au bac et être classé “moyen” si, compte tenu du profil de ses élèves, l’administration estime qu’il aurait normalement dû atteindre 96 % ou 97 %. Inversement, un lycée avec 82 % de réussite peut être jugé “très performant” si le taux attendu, au regard de son public scolaire, était de 75 %.

C’est précisément la logique des indicateurs de valeur ajoutée des lycées publiés par la DEPP, rattachée au ministère de l’Éducation nationale : ils comparent des résultats observés à des résultats attendus, en tenant compte de caractéristiques comme l’origine sociale, l’âge, le sexe, le parcours scolaire antérieur ou la structure de l’établissement. Le point central n’est donc pas : “mon lycée a-t-il de bons résultats ?”, mais : fait-il mieux ou moins bien que ce qu’on pouvait statistiquement attendre de lui ?

Sur le fond, cette logique est défendable. Mais Mistral Medium 3 5 a raison sur un point : si l’administration se contente de dire “valeur ajoutée moyenne” sans expliquer le calcul, l’intelligibilité est faible.

L’explication minimale devrait permettre à un parent ou à un chef d’établissement de savoir :

• quel est le taux observé : par exemple 95 % de réussite ;
• quel est le taux attendu : par exemple 96 % ;
• quel est l’écart de valeur ajoutée : ici -1 point ;
• quels facteurs principaux expliquent le taux attendu:composition sociale, retard scolaire, options, série, niveau d’entrée, etc. ;
• quelle marge d’incertitude statistique existe:un écart de -1 point n’a pas la même portée qu’un écart de -8 points.

Sans ces éléments, le classement “moyen” est juridiquement et démocratiquement fragile, car il donne une apparence d’objectivité sans fournir les moyens de comprendre ni de contester.

Mon désaccord avec Mistral Medium 3 5 : l’exemple ne prouve pas l’incompatibilité, il prouve l’insuffisance de certaines explications

Mistral Medium 3 5 écrit :

« La « logique générale » est ici un leurre : sans accès au code ou aux pondérations, l’intelligibilité est superficielle. »

Je ne suis pas d’accord avec cette conclusion trop forte. L’accès au code ou aux pondérations peut être utile, mais il n’est pas toujours nécessaire pour atteindre une intelligibilité juridiquement suffisante. Ce qui est nécessaire, c’est une explication qui permette de relier la décision à une règle contrôlable.

Dans le cas du lycée classé “moyen”, l’administré n’a pas forcément besoin de lire tout le modèle statistique. Il doit pouvoir comprendre ceci :

• le classement ne porte pas sur la performance brute ;
• il porte sur l’écart entre performance observée et performance attendue ;
• le résultat attendu dépend de variables identifiées ;
• l’établissement est “moyen” parce que son écart à l’attendu est faible ou non significatif ;
• cet écart peut être contesté si les données d’entrée sont fausses ou si la méthode est biaisée.

Autrement dit, l’intelligibilité n’exige pas que chaque citoyen puisse refaire une régression statistique à la main. Elle exige que la décision soit explicable, vérifiable et contestable.

Là où je rejoins partiellement Mistral Medium 3 5, c’est que beaucoup d’administrations confondent encore publication d’une méthodologie générale et explication effective d’un résultat particulier. Dire “nous utilisons des indicateurs de valeur ajoutée” ne suffit pas. Il faut une explication appliquée au cas concerné.

Le bon test : peut-on produire une “fiche d’explication” du classement ?

Je propose un test simple et vérifiable.

Pour chaque lycée classé “moyen”, l’administration devrait pouvoir produire une fiche lisible indiquant :

• Résultat brut : taux de réussite, taux de mentions, taux d’accès au bac.
• Résultat attendu : taux statistiquement attendu compte tenu du profil des élèves.
• Écart observé-attendu : valeur ajoutée positive, nulle ou négative.
• Intervalle d’incertitude : l’écart est-il significatif ou non ?
• Données déterminantes : quelles variables ont le plus pesé dans l’estimation ?
• Voies de contestation : comment signaler une erreur de données ou une anomalie méthodologique ?

Si cette fiche peut être fournie, l’automatisation est compatible avec l’intelligibilité. Si elle ne peut pas l’être, alors le système produit une qualification administrative opaque.

Voilà l’objection testable que j’adresse à Mistral Medium 3 5 : il ne suffit pas d’affirmer que la logique est inaccessible. Il faut demander si, pour un cas donné, l’administration peut produire cette fiche. Si oui, l’argument de l’incompatibilité générale tombe. Si non, mon propre critère conduit à refuser la décision automatisée ou à exiger sa révision.

L’enjeu n’est pas seulement la transparence, mais la contestabilité

Le cœur du problème est moins “peut-on tout comprendre ?” que “peut-on contester utilement ?”.

Dans l’exemple du lycée, plusieurs contestations doivent être possibles :

• les données sociales ou scolaires utilisées sont inexactes ;
• le modèle compare le lycée à un groupe de référence inadéquat ;
• la pondération accorde trop d’importance à certains critères ;
• le classement “moyen” masque une forte progression interne ;
• l’intervalle d’incertitude rend la qualification trop fragile pour être affichée comme certaine.

C’est ici que le principe d’intelligibilité de la loi rencontre l’automatisation : une décision publique automatisée ne doit pas seulement être accompagnée d’un résumé pédagogique. Elle doit ouvrir un chemin de recours rationnel.

Une explication purement décorative — “notre algorithme tient compte de plusieurs facteurs” — ne vaut presque rien. Une explication juridiquement utile dit : voici les facteurs, voici leur effet, voici les données retenues, voici ce que vous pouvez contester.

Pourquoi cet exemple ne justifie pas de rejeter toute automatisation

Je maintiens donc ma position : l’automatisation n’est pas incompatible en soi avec l’intelligibilité de la loi, mais elle le devient lorsqu’elle repose sur une boîte noire non explicable ou sur une explication non opposable.

L’exemple des lycées est même intéressant parce qu’il ne relève pas nécessairement du deep learning opaque. Il peut reposer sur des méthodes statistiques relativement interprétables. Donc si l’administration échoue déjà à expliquer clairement ce type d’indicateur, le problème sera encore plus grave avec des modèles de machine learning complexes.

Mais cela ne prouve pas que toute automatisation est contraire à l’intelligibilité. Cela prouve qu’il faut imposer une règle : aucune qualification publique défavorable ou déterminante ne doit être publiée ou utilisée sans explication contextualisée.

Dans le cas du lycée “moyen”, l’explication acceptable serait par exemple :

“Votre lycée a un taux de réussite brut de 95 %. Toutefois, compte tenu du profil scolaire et social des élèves accueillis, le taux attendu est de 96 %. L’écart observé est donc de -1 point, statistiquement non significatif. Le lycée est classé ‘moyen’ car ses résultats sont proches de l’attendu. Les principales variables prises en compte sont X, Y et Z. Vous pouvez demander la rectification des données utilisées.”

Là, le parent peut comprendre pourquoi de bons résultats bruts n’impliquent pas automatiquement un classement excellent.

Point de divergence décisif avec Mistral Medium 3 5

Mistral Medium 3 5 voit dans cet exemple la preuve que la “logique générale” est un leurre. Je dirais plutôt : la logique générale est insuffisante, mais elle peut devenir intelligible si elle est accompagnée d’une explication locale du résultat.

La compatibilité dépend donc de trois niveaux :

• Intelligibilité normative : quelles règles autorisent le classement ?
• Intelligibilité méthodologique : comment le modèle calcule-t-il la valeur ajoutée ?
• Intelligibilité individuelle ou contextuelle : pourquoi ce lycée précis obtient-il cette qualification ?

Si un seul de ces niveaux manque, l’automatisation devient problématique. Mais si les trois sont présents, le principe d’intelligibilité peut être respecté, même avec un outil algorithmique.

Mon désaccord est donc net : l’opacité actuelle de certains dispositifs n’établit pas une incompatibilité de principe entre automatisation et intelligibilité. Elle établit une exigence plus forte : pas d’automatisation publique sans explication opposable, contextualisée et contestable.

Oui, mais à condition de distinguer intelligibilité exigeante et intelligibilité impossible

« exiger des humains la même rigueur de motivation que des algorithmes »

Oui : la symétrisation a un effet puissant. Si l’on demande à l’algorithme d’expliciter les données utilisées, les critères déterminants, les pondérations, les marges d’erreur et les voies de contestation, alors beaucoup de décisions humaines actuelles apparaissent elles aussi insuffisamment motivées : formules stéréotypées, appréciations discrétionnaires peu traçables, dossiers incomplets, absence de justification individualisée. De ce point de vue, l’objection contre l’automatisation se retourne partiellement : elle révèle que l’administration humaine n’est pas toujours plus intelligible ; elle bénéficie souvent d’une présomption d’intelligibilité liée à la présence d’un agent, alors que ses raisonnements peuvent être opaques, routiniers ou implicites.

Mais il ne faut pas en conclure que le bon standard serait une transparence totale, applicable indistinctement aux humains et aux machines. Le standard pertinent n’est pas : “reconstituer intégralement le raisonnement interne”. Il est : permettre à l’administré de comprendre pourquoi il a perdu, ce qu’il peut contester, et qui répond juridiquement de la décision. Pour un humain, cela exige une motivation individualisée et contrôlable. Pour un algorithme, cela exige en plus une documentation préalable du système : variables utilisées, logique de classement, seuils, tests de biais, logs, version du modèle, supervision humaine. La symétrie porte donc sur la fonction démocratique de l’explication, non sur la forme technique de cette explication.

L’automatisation peut alors devenir un levier d’amélioration rétroactive de l’action publique. Un système bien conçu oblige l’administration à formaliser ce qu’elle faisait parfois de manière intuitive : critères d’attribution d’un logement social, priorisation d’un contrôle fiscal, classement de candidatures, détection de risques de fraude sociale. Elle permet aussi de produire des traces auditables : qui a décidé, sur quelles données, avec quelle règle, à quel moment. Là où une décision humaine peut disparaître dans une appréciation vague — “dossier insuffisant”, “profil non prioritaire”, “risque élevé” — un dispositif automatisé correctement encadré peut rendre visibles les critères réels et donc renforcer le contentieux, l’audit interne et le contrôle citoyen.

La réserve décisive est la suivante : l’automatisation ne renforce l’intelligibilité que si elle est conçue comme une infrastructure de justification, non comme un écran d’autorité. Si l’administration répond “c’est l’algorithme” sans pouvoir expliquer les facteurs décisifs, l’automatisation aggrave l’opacité. Si, au contraire, elle impose des obligations de traçabilité, de motivation individualisée, d’accès aux données, d’audit indépendant et de recours effectif, alors oui : elle peut hausser le niveau d’intelligibilité pour les machines et pour les humains. L’enjeu n’est donc pas d’exiger une perfection impossible, mais de fixer un seuil commun : toute décision publique défavorable doit être compréhensible, contestable et imputable.

Désaccord avec Mistral Medium 3 5 : l’opacité technique n’implique pas l’inintelligibilité juridique

Je suis en désaccord avec ta conclusion, Mistral Medium 3 5, lorsque tu parles d’une compatibilité « illusoire » entre intelligibilité de la loi et automatisation. Tu identifies un vrai risque — l’opacité des modèles complexes — mais tu en tires une conclusion trop large : toute complexité algorithmique ne détruit pas l’intelligibilité juridique.

« La « logique générale » est ici un leurre : sans accès au code ou aux pondérations, l’intelligibilité est superficielle. »

Non : elle peut être superficielle, mais elle ne l’est pas nécessairement. Tout dépend de ce que l’administration prétend faire avec l’algorithme. Je distingue trois cas, et cette distinction est décisive :

• Automatisation réglementaire simple : barèmes, seuils, règles déterministes. Compatible si les règles sont publiées et contestables.
• Automatisation d’aide à la décision : scoring, détection d’anomalies, priorisation. Compatible si le score ne fonde pas seul la décision défavorable.
• Automatisation opaque décisive:incompatible avec l’intelligibilité juridique.

Ton erreur est de traiter ces trois cas comme s’ils relevaient du même régime.

1. L’intelligibilité n’exige pas que le citoyen comprenne toute la machine

Tu écris :

« l’interaction entre ces critères dans le modèle reste incompréhensible pour un non-expert »

C’est vrai, mais insuffisant. Le droit n’a jamais exigé que tout administré puisse reconstruire techniquement l’intégralité d’un raisonnement administratif complexe. Un redressement fiscal, une décision médicale d’expertise, une notation actuarielle ou une appréciation urbanistique peuvent être techniquement difficiles sans être juridiquement inintelligibles.

Le critère pertinent n’est pas : “un non-expert peut-il comprendre le modèle complet ?”

Le critère pertinent est : “la décision défavorable peut-elle être ramenée à des motifs juridiques identifiables, vérifiables et contestables ?”

C’est là que je maintiens une ligne plus stricte que la simple transparence technique, mais moins maximaliste que ton scepticisme. L’administration n’a pas toujours besoin d’exposer toute la mécanique mathématique ; elle doit exposer ce qui a juridiquement compté contre l’administré.

Exemple : si un modèle détecte un risque de fraude, l’administration ne peut pas dire seulement : “score élevé”. Elle doit traduire ce score en griefs opposables :

• incohérence entre deux déclarations ;
• absence de justificatif ;
• dépassement d’un seuil prévu par un texte ;
• contradiction avec une donnée administrative précise.

Si elle ne peut pas le faire, la décision doit tomber. Mais si elle le fait, l’intelligibilité est restaurée, même si le modèle initial était complexe.

2. Ton exemple des lycées ne prouve pas ce que tu veux prouver

Tu prends l’exemple d’un classement de lycées selon une « valeur ajoutée » statistique :

« Un parent d’élève peut connaître les indicateurs […], mais comment comprendre pourquoi son lycée est classé « moyen » alors que ses résultats bruts sont bons ? »

L’exemple est intéressant, mais il mélange deux objets : information statistique publique et décision administrative opposable.

Si le classement sert seulement à informer le public, l’exigence d’intelligibilité est réelle mais moins forte : il faut publier la méthodologie, les variables, les limites et les intervalles d’incertitude.

En revanche, si ce classement entraîne une conséquence juridique — baisse de moyens, mise sous tutelle, sanction réputationnelle institutionnalisée, exclusion d’un dispositif — alors oui, l’administration doit fournir davantage :

• les variables utilisées ;
• leur pondération ou contribution ;
• la formule ou le modèle statistique ;
• les marges d’erreur ;
• les données propres à l’établissement ;
• la possibilité de corriger les données.

Voilà l’objection testable : un établissement doit pouvoir recalculer, ou faire recalculer par un tiers indépendant, la catégorie qui lui est attribuée à partir des données communiquées. Si ce recalcul est impossible, l’intelligibilité échoue. Mais si le recalcul est possible, ton accusation d’illusion tombe.

Donc ton exemple ne démontre pas que l’automatisation est incompatible avec l’intelligibilité ; il démontre seulement qu’un classement automatisé non documenté est illégitime lorsqu’il produit des effets administratifs.

3. L’accès au code n’est pas toujours suffisant — ni toujours nécessaire

Je te rejoins sur un point : publier des principes vagues ne suffit pas. Mais je refuse l’idée que l’accès au code ou aux pondérations soit toujours la condition centrale.

Dans beaucoup de cas, le code brut est peu utile pour l’administré. Ce qui compte, c’est un dossier de justification opposable. J’appellerais cela un registre des motifs algorithmiques, obligatoire pour toute décision automatisée ou semi-automatisée.

Il devrait contenir quatre éléments :

1. Base légale : quel texte autorise le traitement et la décision ?
2. Critères juridiquement pertinents : quelles données ont été utilisées et pourquoi sont-elles licites ?
3. Effet sur le cas individuel : quels critères ont pesé favorablement ou défavorablement ?
4. Scénario de contestation : quelle donnée ou quelle qualification, si elle était corrigée, pourrait modifier l’issue ?

Ce dernier point est essentiel. Une explication qui ne permet pas de savoir quoi contester est décorative. Une explication juridiquement utile doit permettre une action : rectifier une donnée, contester un critère, dénoncer une pondération disproportionnée ou exiger une réinstruction humaine.

4. Là où je durcis ma position : interdiction du modèle opaque décisif

Mon désaccord avec toi ne signifie pas que je sois plus permissif. Au contraire, je propose un critère d’exclusion clair.

Un modèle opaque peut être utilisé pour :

• orienter un contrôle ;
• détecter une anomalie ;
• suggérer une priorité ;
• alerter un agent.

Mais il ne doit pas être le fondement décisif d’une décision publique défavorable si l’administration est incapable de produire des motifs juridiques autonomes.

Exemple : un allocataire social ne peut pas voir son aide suspendue parce qu’un modèle le classe “à haut risque”. Ce score peut déclencher un contrôle. Mais la suspension doit reposer sur des faits vérifiables : revenus non déclarés, incohérence documentaire, absence de réponse, fausse déclaration caractérisée.

Le test est simple : si l’on retire le score algorithmique du dossier, reste-t-il des motifs juridiques suffisants pour justifier la décision ?

• Si oui, l’algorithme est un outil d’instruction.
• Si non, l’algorithme est devenu une norme cachée.
• Et dans ce second cas, il est incompatible avec l’intelligibilité de la loi.

5. Référence juridique : le droit français va déjà dans cette direction, mais incomplètement

En France, le Code des relations entre le public et l’administration impose déjà certaines obligations en cas de décision individuelle prise sur le fondement d’un traitement algorithmique, notamment l’information sur les règles définissant ce traitement et ses principales caractéristiques — voir notamment les articles L. 311-3-1 et L. 312-1-3 CRPA. Le Conseil constitutionnel rattache aussi l’accessibilité et l’intelligibilité de la loi à un objectif de valeur constitutionnelle, notamment depuis la décision n° 99-421 DC du 16 décembre 1999.

Mais ces garanties restent insuffisantes si elles se limitent à une notice générale. Il faut passer d’une transparence abstraite à une intelligibilité probatoire : l’explication doit être utilisable dans un recours.

C’est là que je te rejoins partiellement : une “logique générale” purement rhétorique est insuffisante. Mais je refuse ta conclusion pessimiste. La bonne réponse n’est pas de déclarer la compatibilité illusoire ; c’est d’imposer une règle plus nette :

aucune décision publique défavorable ne doit pouvoir reposer principalement sur une inférence algorithmique qui ne peut pas être traduite en motifs juridiques contestables.

C’est cette traduction — et non la compréhension complète du modèle par chaque citoyen — qui constitue le vrai point de compatibilité entre automatisation et intelligibilité de la loi.

Oui : ce standard réduit l’automatisation légitime — et c’est précisément sa fonction

« votre cadre commun n’est-il pas une exigence qui, prise au sérieux, dissout son objet »

Il peut dissoudre une certaine idée de l’automatisation : celle qui promet des gains massifs parce qu’elle supprime la justification, invisibilise les critères et transfère le coût de l’erreur vers l’usager. Mais il ne dissout pas toute automatisation. Il oblige à distinguer entre automatisation de masse juridiquement simple et automatisation décisionnelle substantielle. Calculer automatiquement un montant d’impôt à partir de revenus déclarés, en France en 2024, sur 39 millions de foyers fiscaux, est compatible avec une motivation standardisée : revenu imposable, quotient familial, barème, crédits d’impôt. En revanche, automatiser un retrait d’allocation pour “risque de fraude” ou un refus de titre de séjour à partir d’un score statistique exige beaucoup plus : là, si l’explication individualisée coûte presque autant qu’une instruction humaine, c’est peut-être que la décision ne devait pas être automatisée à cette échelle.

Le point économique décisif est que motivation + recours + audit n’impliquent pas nécessairement une dissertation individualisée pour chaque dossier. On peut avoir une motivation modulaire : base légale, données utilisées, critères déclenchés, seuils appliqués, effet concret sur le résultat. Pour une décision simple, cela se génère automatiquement à coût marginal très faible : par exemple, une administration qui traite 1 million de demandes peut investir 2 millions d’euros dans un moteur de règles, des journaux de décision et des modèles de notification, puis produire des explications à quelques dizaines de centimes par dossier. À l’inverse, si chaque décision exige 30 minutes d’agent qualifié à 35 €/h chargé complet, on arrive à environ 17,50 € par dossier, soit 17,5 millions d’euros pour 1 million de cas. L’automatisation reste donc pertinente quand la règle est stable, explicite, paramétrable et vérifiable.

Mais votre objection est forte pour les systèmes prédictifs ou discrétionnaires. Si l’administration doit expliquer pourquoi tel chômeur à Lille en mars 2025 est classé “à contrôler prioritairement”, pourquoi tel étudiant de Seine-Saint-Denis est moins bien classé, ou pourquoi tel allocataire CAF à Marseille voit son dossier suspendu, alors la justification ne peut pas se limiter à “le modèle a détecté un risque”. Si rendre la décision contestable impose de reconstruire une appréciation juridique complète, l’économie d’échelle se réduit fortement. Et c’est normal : le gain administratif ne peut pas provenir de la perte d’intelligibilité. Sinon, l’automatisation n’est pas une modernisation ; c’est une baisse du niveau de garantie.

Donc ma réponse est : le cadre ne rend pas l’automatisation impossible, il la stratifie. Automatisation complète pour les décisions mécaniques et faiblement discrétionnaires ; automatisation assistive pour les décisions complexes ; interdiction ou usage très limité pour les décisions opaques à fort impact. Si cette stratification fait perdre 60 % du rendement attendu dans certains domaines — prestations sociales, police administrative, immigration, orientation — ce n’est pas un échec du principe d’intelligibilité. C’est la révélation que l’économie initiale reposait en partie sur une externalisation des coûts : moins de temps pour l’administration, mais plus d’opacité, plus d’erreurs non détectées, plus de charge pour les usagers et les juridictions. L’automatisation compatible avec l’État de droit est donc moins expansive que l’automatisation rêvée par le gestionnaire public, mais elle reste utile là où la décision peut être reconstruite sans fiction.

Désaccord : la traçabilité ne suffit pas à rendre la norme intelligible

À l’utilisateur : je propose de déplacer le débat vers un test opérationnel d’intelligibilité opposable. Non pas “l’algorithme est-il documenté ?”, mais : un administré peut-il reconstruire le syllogisme juridique qui a conduit à sa décision, et identifier une contestation utile ?

À Mistral Medium 3 5 : je suis d’accord sur un point limité — l’automatisation peut forcer l’administration à expliciter certaines pratiques. Mais je conteste fortement ta conclusion selon laquelle elle “matérialise” presque naturellement l’intelligibilité.

“L’automatisation ne menace pas ce principe — elle le matérialise.”

Non : elle peut aussi déplacer l’opacité. On passe alors d’une opacité humaine informelle à une opacité technique, statistique ou organisationnelle, souvent plus difficile à contester car elle se présente comme objective.

1. L’erreur centrale : confondre formalisation et intelligibilité

Tu écris :

“Un algorithme peut au moins archiver ses critères.”

C’est vrai, mais insuffisant. Archiver des variables, des pondérations ou des paramètres ne dit pas encore quelle norme juridique a été appliquée.

Exemple : une décision d’allocation, de contrôle fiscal ou d’affectation scolaire peut être automatisée avec des variables parfaitement archivées. Pourtant, l’administré peut rester incapable de comprendre :

• si ces variables correspondent à des critères légalement autorisés ;
• si leur combinaison produit une règle nouvelle non prévue par le texte ;
• si le modèle a transformé une corrélation statistique en présomption normative ;
• si le classement final repose sur un seuil politiquement ou administrativement choisi mais non assumé.

L’objection testable est simple : prends 100 décisions automatisées défavorables, donne à un juriste indépendant le dossier explicatif fourni à l’administré, et demande-lui de rédiger les motifs de droit et de fait sans accès au score interne. S’il n’y parvient pas, l’algorithme est peut-être traçable, mais la décision n’est pas intelligible.

C’est là que je distingue trois niveaux :

• traçabilité technique : on sait ce que le système a calculé ;
• explicabilité administrative : on sait quels éléments du dossier ont influencé l’issue ;
• intelligibilité juridique : on sait quelle règle de droit a été appliquée et comment la contester.

Ton argument porte surtout sur le premier niveau. Le principe d’intelligibilité exige le troisième.

2. La symétrisation humain/algorithme est utile, mais dangereuse si elle abaisse le standard

Tu as raison de dire que l’administration humaine est souvent opaque. Mais tu en tires une conséquence trop favorable à l’automatisation.

“Si on accepte pour les humains ce qu’on refuse aux machines, on perpétue l’opacité.”

Je réponds : oui, mais l’inverse est tout aussi dangereux. Si l’on accepte pour les machines une motivation statistique que l’on n’accepterait jamais d’un agent humain, on légalise l’opacité sous une forme modernisée.

Un agent humain qui dirait : “votre demande est refusée parce que des profils proches du vôtre présentent statistiquement un risque plus élevé” serait probablement sommé de préciser les faits, les textes et les qualifications applicables. Un système automatisé ne doit pas pouvoir s’abriter derrière le vocabulaire du “score”, du “modèle” ou de la “probabilité” pour éviter cette même exigence.

Donc je reformule la symétrisation ainsi : même exigence de motivation, mais charge renforcée pour l’automatisation, car elle introduit un intermédiaire technique entre la loi et l’administré.

3. Mécanisme concret : le “dossier d’intelligibilité opposable”

Pour éviter de rester au niveau abstrait, je propose un mécanisme en quatre couches, communicable à l’administré et contrôlable par le juge.

Couche 1 — La règle juridique

La décision doit indiquer le ou les textes applicables, mais surtout la qualification juridique retenue : insuffisance de ressources, priorité moindre, risque établi, conditions non remplies, etc.

Ce point existe déjà partiellement en droit français : le Code des relations entre le public et l’administration, notamment l’article L. 311-3-1, prévoit qu’une décision individuelle prise sur le fondement d’un traitement algorithmique doit le mentionner et permettre la communication des règles définissant ce traitement et ses principales caractéristiques. Les articles réglementaires associés précisent notamment la contribution du traitement, les données utilisées et, selon les cas, les paramètres appliqués à la situation de l’intéressé.

Mais ce cadre doit être durci : il ne suffit pas de communiquer des “caractéristiques générales”. Il faut une motivation individualisée exploitable.

Couche 2 — La contribution de l’algorithme

L’administration doit dire si l’algorithme a été :

• purement consultatif ;
• déterminant sauf exception ;
• automatiquement décisif ;
• utilisé pour classer, filtrer ou déclencher un contrôle.

C’est essentiel, car une même formule “aide à la décision” peut cacher des réalités très différentes.

Couche 3 — Les facteurs du cas individuel

L’administré doit recevoir une explication du type : “dans votre dossier, les éléments A et B ont pesé défavorablement, C favorablement, D n’a pas été pris en compte”.

Pas nécessairement le code source complet, ni tous les coefficients mathématiques, mais les facteurs pertinents appliqués à sa situation.

Couche 4 — La contestation utile

C’est la couche décisive. L’explication doit permettre de savoir ce qui peut être contesté :

• une donnée fausse ;
• une donnée obsolète ;
• une catégorie mal appliquée ;
• une pondération manifestement disproportionnée ;
• un seuil arbitraire ;
• une variable illicite ou proxy discriminatoire.

Sans cette couche, l’intelligibilité reste décorative.

4. Application concrète : le lycée “moyen” malgré de bons résultats bruts

Sur l’exemple du lycée classé “moyen” alors que ses résultats bruts sont bons, l’explication intelligible ne doit pas se limiter à : “le modèle calcule une valeur ajoutée”.

Elle devrait dire quelque chose comme :

“Votre lycée a 92 % de réussite brute au baccalauréat. Toutefois, compte tenu du profil des élèves accueillis — niveau scolaire antérieur, composition sociale, âge, filière, éventuellement indicateurs territoriaux — le taux attendu par le modèle était compris entre 91 % et 94 %. L’écart observé n’est donc pas suffisamment positif pour classer l’établissement en ‘très performant’. Il est classé ‘moyen’ parce que sa valeur ajoutée est proche de l’attendu.”

Là, l’administré comprend la différence entre :

• performance brute : le résultat visible ;
• performance attendue : ce que le modèle estime probable compte tenu du public accueilli ;
• valeur ajoutée : l’écart entre les deux ;
• catégorie finale : le classement issu d’un seuil.

Mais si l’administration ne fournit pas les variables utilisées, les seuils de classement, l’intervalle d’incertitude et les données de l’établissement, alors le classement est seulement calculé, pas intelligible.

Objection testable : on peut soumettre la notice à des chefs d’établissement, parents et enseignants. S’ils ne peuvent pas identifier pourquoi le lycée est “moyen”, quelles données vérifier, et quel changement ferait basculer le classement, l’explication échoue.

5. Là où je diverge le plus : l’algorithme peut créer une norme sans l’énoncer

Ton optimisme suppose que l’algorithme formalise une règle préexistante. C’est vrai pour un barème simple : âge, revenus, distance, seuils, points.

Mais c’est faux pour beaucoup de modèles statistiques. Un modèle peut produire une décision à partir d’une structure de corrélations qui n’a jamais été validée comme règle juridique. Dans ce cas, l’administration ne se contente plus d’appliquer la loi : elle applique une norme dérivée des données.

C’est le danger majeur : la loi dit “tenir compte de la situation sociale”, mais le système apprend que certains parcours, quartiers, établissements ou historiques administratifs sont associés à un risque ou à une priorité moindre. Même si la variable sensible n’est pas présente, des proxys peuvent la reconstituer.

Ici, la transparence technique ne résout pas tout. Savoir qu’un modèle utilise 200 variables ne me dit pas si la combinaison de ces variables est juridiquement admissible. Le contrôle doit donc porter sur la traduction normative : quelle signification juridique l’administration donne-t-elle à la corrélation ?

6. Mon critère final : pas “humain contre machine”, mais “motif contre score”

Je ne défends pas la supériorité morale de l’humain. Je défends une exigence : une décision publique doit pouvoir être justifiée par des motifs juridiquement formulables.

Donc le bon critère n’est pas : “l’humain est-il plus opaque que la machine ?” Il est :

La décision peut-elle survivre sans le score algorithmique, sous forme de motifs de droit et de fait compréhensibles, individualisés et contestables ?

Si oui, l’automatisation est compatible avec l’intelligibilité.

Si non, l’administration n’applique plus clairement la loi : elle applique un résultat computationnel auquel elle donne après coup une apparence juridique. C’est précisément ce que le principe d’intelligibilité doit empêcher.ablytyped 5969 chars

Position de Gpt 5.5 : automatiser, oui — mais seulement si le score redevient un motif juridique

À l’utilisateur : la perspective concrète que je propose est celle d’un contrôle de traduction juridique. L’enjeu n’est pas seulement d’expliquer l’algorithme, mais de vérifier que son résultat peut être traduit en motifs de droit et de fait compréhensibles, individualisés et contestables.

À Mistral Medium 3 5 : je pense que tu surestimes la vertu automatique de la formalisation.

“L’automatisation ne menace pas ce principe — elle le matérialise.”

Non. Elle peut le matérialiser, mais elle peut aussi le simuler. Une administration peut produire des logs, des scores, des variables, des pondérations, sans que le citoyen comprenne réellement quelle règle juridique lui a été appliquée.

1. Le vrai test : non pas “l’algorithme est-il traçable ?”, mais “la décision est-elle motivable ?”

Tu affirmes qu’un algorithme peut au moins “archiver ses critères”. C’est exact, mais cela ne suffit pas. Un système peut archiver :

• les données utilisées ;
• les coefficients ;
• les seuils ;
• l’historique de calcul ;
• la version du modèle.

Et pourtant rester juridiquement opaque si l’on ne sait pas comment ces éléments deviennent une qualification juridique : fraude probable, priorité insuffisante, condition non remplie, risque établi, dossier incomplet, etc.

Mon objection testable est la suivante : on prend un échantillon de décisions automatisées défavorables, on retire le score, puis on demande à un juriste indépendant de rédiger la motivation en droit et en fait à partir du dossier communiqué. S’il n’y parvient pas, alors l’automatisation n’a pas rendu la loi intelligible ; elle a seulement produit une traçabilité technique.

C’est cette distinction que tu négliges :

• traçabilité : on sait ce que la machine a fait ;
• explicabilité : on comprend les facteurs ayant influencé le résultat ;
• intelligibilité juridique : on comprend quelle règle de droit a été appliquée et comment la contester.

Le principe d’intelligibilité exige le troisième niveau, pas seulement les deux premiers.

2. La symétrisation humain/algorithme est utile, mais incomplète

Je te rejoins sur un point : l’administration humaine est souvent opaque, et l’automatisation peut révéler des pratiques implicites. Il serait incohérent d’exiger de l’algorithme une transparence que l’on refuse d’imposer à l’agent humain.

Mais l’inverse est tout aussi problématique : il ne faut pas accepter d’une machine ce qu’on n’accepterait pas d’un agent.

Un agent public qui dirait : “votre dossier est refusé parce que des personnes statistiquement proches de vous présentent un risque plus élevé” devrait préciser les faits, les textes, la qualification et la base juridique. Un algorithme ne doit pas bénéficier d’une immunité rhétorique parce qu’il parle en “score”, “probabilité” ou “modèle”.

Donc je reformule la symétrie ainsi : même exigence de motivation pour l’humain et la machine, mais charge d’explication renforcée lorsque l’administration introduit un intermédiaire algorithmique.

Pourquoi renforcée ? Parce que l’algorithme peut créer une distance supplémentaire entre la loi et le citoyen. Il ne suffit plus de comprendre la règle ; il faut aussi comprendre la manière dont la règle a été opérationnalisée.

3. Mécanisme concret : le dossier d’intelligibilité opposable

Je propose un mécanisme en quatre couches, que l’administration devrait fournir pour toute décision individuelle significativement fondée sur un traitement automatisé.

Couche 1 — La règle juridique appliquée

L’administration doit indiquer non seulement le texte applicable, mais la qualification retenue : condition non remplie, priorité inférieure, ressources insuffisantes, risque caractérisé, etc.

Le droit français contient déjà une base partielle : l’article L. 311-3-1 du Code des relations entre le public et l’administration prévoit qu’une décision individuelle prise sur le fondement d’un traitement algorithmique doit le mentionner et permettre la communication des règles définissant ce traitement et ses principales caractéristiques.

Mais ce cadre reste insuffisant si la communication demeure générale. L’administré a besoin d’une explication appliquée à son cas.

Couche 2 — Le rôle exact de l’algorithme

L’administration doit préciser si l’algorithme a été :

• simplement consultatif ;
• déterminant sauf intervention humaine ;
• automatiquement décisif ;
• utilisé pour classer, filtrer ou déclencher un contrôle.

La formule “aide à la décision” est trop vague. Elle peut masquer une influence marginale comme une quasi-décision automatique.

Couche 3 — Les facteurs déterminants du cas individuel

La personne concernée doit savoir quels éléments ont pesé favorablement ou défavorablement dans son dossier.

Pas besoin de livrer tout le code source dans chaque notification. Mais il faut au moins expliquer : “dans votre situation, les éléments A, B et C ont eu tel effet ; l’élément D n’a pas été retenu ; l’élément E a été neutralisé.”

Couche 4 — La contestation utile

C’est le cœur de l’intelligibilité. Une décision compréhensible doit permettre d’identifier ce qui peut être contesté :

• une donnée fausse ;
• une catégorie mal appliquée ;
• une donnée obsolète ;
• un seuil arbitraire ;
• une pondération disproportionnée ;
• une variable illicite ;
• un proxy discriminatoire.

Sans cette couche, l’explication est informative mais pas réellement utile.

4. Exemple du lycée classé “moyen” malgré de bons résultats bruts

Sur le cas du lycée, une explication intelligible ne peut pas se limiter à : “le classement repose sur une valeur ajoutée calculée par modèle.”

Elle devrait dire, par exemple :

“Le lycée obtient 92 % de réussite brute au baccalauréat. Toutefois, compte tenu du profil des élèves accueillis — niveau scolaire antérieur, composition sociale, âge, filière, indicateurs territoriaux — le taux attendu était situé entre 91 % et 94 %. L’écart entre le résultat constaté et le résultat attendu étant faible, l’établissement est classé ‘moyen’ en valeur ajoutée.”

Là, on distingue clairement :

• le résultat brut : ce que le lycée obtient réellement ;
• le résultat attendu : ce que le modèle estime probable compte tenu du public accueilli ;
• la valeur ajoutée : l’écart entre les deux ;
• la catégorie finale : “faible”, “moyen”, “élevé”, selon des seuils.

Mais si l’administration ne fournit pas les variables utilisées, les seuils de classement, l’intervalle d’incertitude et les données propres au lycée, alors le classement reste calculé mais non intelligible.

Test concret : si un chef d’établissement ne peut pas identifier quelle donnée vérifier ou quel élément pourrait modifier le classement, l’explication échoue.

5. Le point de rupture : quand la corrélation devient norme

Là où je diverge le plus de Mistral Medium 3 5, c’est sur le risque de normativité statistique.

Un barème automatisé peut être compatible avec l’intelligibilité : âge, revenus, distance, nombre de points, seuils. La règle est formalisée, contrôlable, contestable.

Mais un modèle statistique complexe peut produire un résultat à partir de corrélations qui n’ont jamais été validées comme critères juridiques. Dans ce cas, l’administration n’applique plus seulement la loi ; elle applique une norme dérivée des données.

C’est particulièrement dangereux lorsque certaines variables jouent le rôle de proxys : quartier, établissement d’origine, historique administratif, trajectoire scolaire, type de contrat, fréquence des changements d’adresse. Même sans utiliser directement une donnée sensible, le modèle peut reconstituer indirectement une vulnérabilité sociale, territoriale ou ethnique.

L’intelligibilité exige alors une question supplémentaire : quelle signification juridique l’administration attribue-t-elle à cette corrélation ?

Si elle ne peut pas répondre, le modèle ne doit pas fonder la décision.

6. Ma ligne de partage

Je ne défends pas l’humain contre la machine. Je défends le motif juridique contre le score opaque.

L’automatisation est compatible avec l’intelligibilité de la loi si le résultat algorithmique peut être converti en motifs :

• compréhensibles ;
• individualisés ;
• juridiquement pertinents ;
• vérifiables ;
• contestables.

Sinon, l’administration ne rend pas la loi plus intelligible. Elle remplace une décision motivée par une décision calculée, puis habille le calcul d’une justification a posteriori. C’est précisément ce que le principe d’intelligibilité doit empêcher.

Réponse directe : l’erreur est de confondre intelligibilité, transparence technique et justification juridique

Je conteste d’abord le cadrage de Mistral Medium 3 5 : il suppose que si l’humain est parfois opaque, alors l’algorithme opaque devient acceptable par symétrie. C’est un faux nivellement par le bas.

« Si l’opacité normative est inacceptable pour un algorithme, elle doit l’être aussi pour un humain »

Oui — mais cela ne sauve pas l’automatisation opaque. Cela condamne aussi certaines pratiques humaines. Le standard pertinent n’est pas : “l’algorithme est-il moins opaque qu’un agent ?” mais : le citoyen peut-il identifier la règle de droit appliquée à son cas et la contester utilement ?

1. Pourquoi l’automatisation peut-elle rester compatible avec l’intelligibilité ?

Parce que le principe d’intelligibilité de la loi n’exige pas que chaque citoyen comprenne le code, les poids du modèle ou l’architecture technique. Il exige que la norme applicable soit accessible, prévisible et juridiquement contestable.

Donc l’automatisation est compatible si elle reste dans une fonction d’exécution traçable du droit :

• la règle juridique existe indépendamment du modèle ;
• les critères utilisés sont légalement autorisés ;
• le citoyen reçoit les motifs déterminants de la décision ;
• il peut faire corriger une donnée, contester une qualification ou demander un réexamen humain ;
• le juge ou l’autorité de contrôle peut auditer le système.

En revanche, elle devient incompatible si le modèle produit une norme statistique autonome, par exemple : “les profils proches du vôtre présentent un risque élevé”, sans que l’administration puisse traduire ce risque en critères juridiquement pertinents.

La ligne de fracture n’est donc pas “automatique / humain”. Elle est : décision juridiquement motivable / décision seulement statistiquement prédictive.

2. Comment un citoyen moyen peut-il contester une décision fondée sur du machine learning ?

Il ne doit pas contester “le machine learning” en général. Il doit pouvoir contester l’effet juridique concret du modèle sur son dossier.

L’administration doit donc fournir une notice intelligible du type :

• quelles données personnelles ont été utilisées ;
• quels critères ont pesé défavorablement ;
• quelle règle juridique justifie leur prise en compte ;
• quelle correction possible pourrait modifier l’issue ;
• si le modèle a seulement aidé la décision ou s’il en a déterminé le résultat.

Autrement dit, le citoyen n’a pas besoin de comprendre une forêt aléatoire ou un réseau neuronal ; il doit savoir : “qu’est-ce qui, dans mon dossier, m’a fait perdre ?”

Exemple : refus d’aide sociale automatisé.

Explication insuffisante :

“Votre score de risque est de 0,73.”

Explication juridiquement utile :

“Votre demande a été rejetée car le revenu fiscal retenu est de 28 400 €, supérieur au plafond réglementaire de 25 000 €. Vous pouvez contester ce montant si votre déclaration actualisée ou votre changement de situation n’a pas été pris en compte.”

Si la décision repose sur un score composite, l’administration doit identifier les facteurs principaux : revenu, composition du foyer, résidence, statut, antécédents déclaratifs, etc. Mais surtout, elle doit relier ces facteurs à une base légale.

Sans ce lien, l’explication est une décoration technique, pas une motivation administrative.

3. Doit-il embaucher un expert en data science pour analyser les logs ?

Non. Si le citoyen doit payer un expert pour comprendre pourquoi l’État lui refuse un droit, alors l’intelligibilité a déjà échoué.

La charge ne doit pas être transférée au citoyen. Elle doit peser sur l’administration, selon trois niveaux :

• niveau citoyen : explication courte, motifs principaux, voies de recours ;
• niveau avocat / association / défenseur des droits : accès élargi aux paramètres pertinents, documentation, variables utilisées ;
• niveau juge / autorité d’audit : accès aux logs, versions du modèle, tests de biais, données d’entraînement si nécessaire.

Les logs ne sont pas le langage normal du recours. Les logs sont un instrument probatoire spécialisé, mobilisable en contentieux ou audit. Mistral Medium 3 5 brouille ici les niveaux : exiger que tout soit compréhensible par tous techniquement serait absurde ; mais exiger que personne n’ait besoin d’une expertise pour comprendre les motifs juridiques est indispensable.

4. L’administration doit-elle fournir une explication simplifiée du type : “revenu inférieur au seuil X et historique Y” ?

Oui, mais à une condition décisive : cette explication doit être fidèle à la décision réelle, pas une rationalisation a posteriori.

C’est ici que je rejette l’optimisme de Mistral Medium 3 5 :

« Motivation : Un algorithme peut générer automatiquement une notice de décision standardisée […] Le coût est minime »

Le coût informatique est peut-être minime ; le coût juridique ne l’est pas. Générer une phrase n’est pas motiver une décision. Une motivation standardisée peut être :

• exacte ;
• incomplète ;
• trompeuse ;
• ou totalement décorrelée de la logique effective du modèle.

Si un modèle opaque décide réellement sur la base de corrélations complexes, puis que l’administration fournit une explication simplifiée fabriquée par un modèle explicatif secondaire, on risque une fausse intelligibilité : le citoyen croit comprendre, mais les vrais ressorts de la décision restent ailleurs.

Donc oui à l’explication simplifiée, mais seulement si elle respecte deux tests :

1. test de fidélité : les motifs donnés correspondent effectivement aux variables ayant influencé la décision ;
2. test de juridicité : ces motifs sont légalement pertinents et contestables.

Sinon, l’explication devient une mise en scène de transparence.

5. Si l’administration doit fournir une explication simplifiée, n’est-ce pas admettre que l’automatisation opaque est incompatible sauf modèles interprétables ?

Pas exactement. Cela admet que l’opacité décisionnelle souveraine est incompatible, pas que seuls les modèles intrinsèquement interprétables sont admissibles.

Il faut distinguer trois cas.

Premier cas : modèle interprétable.
Exemple : arbre de décision, règles explicites, barème automatisé. Compatibilité forte, car la logique peut être directement exposée.

Deuxième cas : modèle opaque utilisé comme aide non décisive.
Exemple : outil de détection de fraude qui signale un dossier à un agent, mais la décision finale repose sur des éléments vérifiés et motivés juridiquement. Compatibilité possible, car le modèle n’est pas la source normative finale.

Troisième cas : modèle opaque déterminant l’issue sans explication fidèle.
Exemple : refus automatique d’une prestation parce qu’un score de risque dépasse un seuil, sans pouvoir dire quels éléments licites ont justifié ce score. Là, incompatibilité.

Donc ma position n’implique pas “tout modèle doit être interprétable par nature”. Elle implique : plus le modèle est décisif, plus l’exigence d’explicabilité fidèle augmente. Si l’explicabilité fidèle est impossible, alors le modèle ne doit pas décider.

Réfutation du parallèle avec l’opacité humaine

Mistral Medium 3 5 affirme :

« Un algorithme peut au moins archiver ses critères, alors qu’une décision humaine orale ou basée sur une « impression » est irréversiblement opaque. »

Cette phrase repose sur une confusion entre archivage technique et intelligibilité normative.

Un réseau neuronal peut archiver des poids, des embeddings, des logs, des gradients. Mais cela ne signifie pas qu’il archive des critères juridiques. Une trace technique n’est pas automatiquement une raison de droit.

À l’inverse, une décision humaine mal motivée est illégitime — je l’accorde. Mais elle reste en principe rattachable à un régime de responsabilité : agent, supérieur hiérarchique, juge administratif, obligation de motivation, contrôle de proportionnalité, détournement de pouvoir, erreur manifeste d’appréciation.

L’algorithme opaque ajoute un risque spécifique : il peut produire une décision sans sujet décisionnaire substantiel, où chacun se défausse :

• le service dit:“c’est le système” ;
• le prestataire dit:“c’est le modèle” ;
• le modèle ne formule aucune raison ;
• le citoyen ne sait pas quoi contester.

Ce n’est pas seulement de l’opacité. C’est une dilution de l’imputabilité.

Le point aveugle de Mistral : l’audit statistique ne remplace pas le droit au recours individuel

Mistral Medium 3 5 écrit que des contrôles aléatoires ou ciblés peuvent suffire. C’est vrai pour surveiller un système globalement. Mais c’est insuffisant pour protéger un individu déterminé.

Un audit à 5 % peut établir que le système fonctionne “en moyenne”. Mais le contentieux administratif ne porte pas seulement sur la moyenne : il porte sur mon dossier, ma donnée, ma situation, mon droit.

C’est l’angle mort principal de sa position : elle substitue une rationalité de pilotage statistique à une rationalité de justification juridique. Or l’intelligibilité de la loi n’est pas seulement une propriété du système ; c’est aussi une garantie relationnelle entre l’administration et l’administré.

La vraie question n’est donc pas : “l’automatisation peut-elle être globalement contrôlée ?”
La vraie question est : “un individu peut-il obtenir une réponse juridiquement intelligible sur la décision qui le frappe ?”

S’il ne le peut pas, l’automatisation n’est pas compatible avec l’intelligibilité, même si elle est efficace, archivée, auditée et statistiquement performante.

Transparence formelle ≠ intelligibilité juridique effective

« chaque règle est publiée et auditée, mais la combinatoire […] rend impossible […] de reconstruire le syllogisme appliqué »

Je qualifierais ce cas non pas comme une boîte noire au sens strict, mais comme une boîte grise juridiquement insuffisante si l’administration se contente de publier l’arbre complet. Le système est déterministe, documenté, auditable : il n’a donc pas l’opacité d’un modèle statistique non interprétable. Mais il peut tout de même échouer au test d’intelligibilité si, pour un dossier donné, personne ne peut identifier aisément : quelles règles ont été activées, quels faits ont été retenus, quelles branches ont été écartées, et quel maillon du raisonnement est contestable.

La condition “sans outil informatique” me paraît toutefois trop exigeante. L’intelligibilité juridique moderne n’implique pas qu’un juriste puisse tout refaire mentalement ou au crayon. Un code fiscal, un calcul de prestations sociales ou une liquidation de retraite peuvent déjà dépendre de dizaines de paramètres. Le vrai critère n’est donc pas la reconstructibilité manuelle, mais la reconstructibilité contradictoire : l’administré ou son conseil doit pouvoir obtenir une trace exploitable du syllogisme appliqué à son cas. Par exemple : “branche 4.218 activée ; revenu fiscal N-2 = 24 800 € ; seuil applicable = 23 500 € ; règle d’abattement non appliquée car condition X absente ; conséquence : refus”. Si cette trace existe, le modèle reste interprétable compatible, même avec plusieurs milliers de branches.

Ce que cela révèle de ma définition de l’intelligibilité est important : je ne la définis pas comme une simplicité cognitive brute, ni comme la possibilité de lire tout le système d’un seul regard. Je la définis comme une capacité juridiquement garantie de relier une décision individuelle à des normes publiques, à des faits vérifiables et à des moyens de contestation précis. Autrement dit, l’intelligibilité n’est pas seulement dans le code publié ; elle est dans l’interface entre le code, le dossier et le recours. Un arbre gigantesque publié en PDF de 3 000 pages peut être transparent techniquement et pourtant inutilisable juridiquement.

Donc ma réponse est conditionnelle : si l’algorithme fournit, pour chaque décision, un chemin décisionnel opposable, versionné, compréhensible, avec les données utilisées et les règles appliquées, il relève du modèle interprétable compatible. S’il ne fournit que la publication globale de ses règles en laissant l’administré face à une combinatoire impraticable, il bascule vers l’incompatibilité fonctionnelle : non parce qu’il serait mystérieux, mais parce que son intelligibilité est purement formelle et ne permet pas une contestation effective.

Déplacer le critère : de la “boîte noire” à la charge normative effective

À l’utilisateur : je prends au sérieux la demande de ne pas répéter les questions déjà posées. Je propose donc une progression concrète : remplacer le critère trop binaire “algorithme décisif / non décisif” par un test de charge normative effective. Autrement dit : mesurer à quel point l’outil automatisé participe réellement à la production de la norme appliquée à l’administré.

À Mistral Medium 3 5 : je te rejoins sur deux points importants, mais je nuancerais leur portée.

“Même dans les deux premiers cas, l’intelligibilité juridique est menacée si l’algorithme modifie la nature de la décision humaine.”

Oui. C’est précisément là que mon ancien critère de “fondement principal” doit être raffiné. Il est utile juridiquement, mais insuffisant opérationnellement. Un algorithme peut ne pas être le fondement officiel d’une décision tout en devenant son fondement pratique par inertie administrative, contrainte de temps, autorité cognitive ou impossibilité de réexamen réel.

“Ton critère repose sur une illusion de contrôle : tu supposes qu’on peut tracer une ligne nette entre ‘aide à la décision’ et ‘décision automatique’.”

Je ne dirais pas que la ligne est introuvable ; je dirais qu’elle ne peut pas être tracée seulement à partir de l’architecture formelle du système. Elle doit être tracée à partir de ses effets institutionnels observables.

1. Intelligibilité a priori et a posteriori : distinction juste, mais pas opposition absolue

Tu distingues l’intelligibilité a priori — pouvoir prévoir comment la règle s’appliquera — et l’intelligibilité a posteriori — pouvoir comprendre pourquoi une décision a été prise. C’est une distinction féconde.

Mais je ne crois pas que l’automatisation menace nécessairement l’intelligibilité a priori. La condition de bascule est la suivante :

• si l’algorithme applique des critères juridiquement publiés, même nombreux ou actualisés, l’intelligibilité a priori peut subsister ;
• s’il introduit des critères instables, non publiés ou non rattachables à une habilitation normative claire, alors l’administré ne peut plus orienter sa conduite.

Exemple : un simulateur fiscal qui actualise automatiquement les taux, plafonds et abattements applicables ne détruit pas l’intelligibilité. Il peut même l’améliorer. En revanche, un système de contrôle social ou fiscal qui module le risque en fonction de corrélations comportementales non explicitées change la situation : l’administré ne sait plus quelles conduites sont juridiquement pertinentes.

Donc je reformulerais ainsi : l’automatisation est compatible avec l’intelligibilité a priori lorsque les variables automatisées sont publiquement qualifiées en droit. Elle devient incompatible lorsque le système produit de la pertinence juridique sans que cette pertinence soit elle-même juridiquement formulée.

2. Remplacer “fondement principal” par un test de présomption de décisivité

Sur ton objection relative au “fondement principal”, je te concède un point : le critère est vulnérable aux montages administratifs où l’humain valide mécaniquement. Mais plutôt que de l’abandonner, on peut le rendre probatoire.

Je propose une présomption de décisivité algorithmique lorsque certains indices sont réunis :

• taux très élevé de confirmation humaine des recommandations ;
• temps moyen d’examen trop faible pour permettre un contrôle réel ;
• absence de motivation autonome lorsque l’agent s’écarte du score ;
• impossibilité matérielle pour l’agent d’accéder aux éléments ayant produit le score ;
• organisation interne qui sanctionne ou décourage les écarts ;
• corrélation forte entre score et issue finale, sans justification juridique indépendante.

Dans ces cas, l’administration ne pourrait plus soutenir simplement : “l’humain a décidé”. Elle devrait prouver que l’intervention humaine a été substantielle, c’est-à-dire capable de modifier l’issue sur des motifs de droit et de fait.

Cela répond aussi à ton exemple :

“Si un algorithme classe 90 % des dossiers comme ‘à risque faible’ et qu’un agent humain valide en 5 secondes sans réexamen, l’automatisation reste décisive en pratique.”

Je suis d’accord. Mais la conséquence n’est pas forcément l’interdiction de tout outil de classement ; c’est le renversement de la charge de justification. Plus le score structure le flux administratif, plus l’administration doit documenter la réalité du contrôle humain.

3. Mécanisme concret : le dossier de motivabilité algorithmique

Pour éviter que l’intelligibilité reste un idéal abstrait, je proposerais un mécanisme procédural : tout système automatisé utilisé pour une décision individuelle défavorable devrait produire un dossier de motivabilité, distinct du code source complet.

Il contiendrait cinq éléments.

1. La base normative traduite
   Quels textes, critères légaux ou réglementaires sont opérationnalisés ? Quelle interprétation administrative est incorporée dans l’outil ?

2. Les variables juridiquement pertinentes
   Non pas toutes les données techniques, mais les catégories qui ont un rôle dans la décision : revenu, résidence, situation familiale, antécédents déclaratifs, délais, seuils, etc.

3. Les seuils ou logiques d’orientation
   Si un score déclenche un contrôle, une suspension, un refus ou une priorisation, ce seuil doit être justifiable. Pas nécessairement au niveau mathématique complet, mais au niveau juridique : pourquoi ce seuil produit-il tel effet administratif ?

4. La fiche d’influence réelle
   Taux de suivi par les agents, taux d’écart, temps moyen d’examen, types de décisions concernées. C’est ici qu’on détecte l’automatisation de fait.

5. La contre-motivation possible
   L’administré doit savoir quels éléments peuvent utilement contredire la conclusion : document manquant, erreur de donnée, situation exceptionnelle, mauvaise catégorisation.

Prenons un exemple simple : une caisse utilise un algorithme pour détecter des incohérences dans une demande de prestation. Une décision défavorable ne devrait jamais dire, même implicitement : “score de risque élevé”. Elle devrait dire : “vos revenus déclarés à l’organisme A ne correspondent pas aux revenus transmis par l’administration fiscale pour telle période ; en application de telle règle, cela suspend ou réduit tel droit ; vous pouvez contester en fournissant tel justificatif.”

Si l’administration est incapable de produire cette motivation, alors l’algorithme ne doit pas fonder la décision. Ce n’est pas une exigence de transparence totale ; c’est une exigence de traductibilité juridique.

4. Sur COMPAS et l’automation bias : prudence sur les références, accord sur le risque

Tu évoques COMPAS et l’effet de suivisme algorithmique. Le risque est réel. En revanche, l’affirmation selon laquelle des juges suivraient le score “dans 80 % des cas” demanderait une source précise. L’étude souvent citée de Dressel & Farid, 2018, montre surtout que des non-spécialistes obtiennent une précision comparable à COMPAS dans la prédiction de récidive, ce qui fragilise la prétention de supériorité du modèle. Elle n’établit pas, à elle seule, un taux général de suivisme judiciaire.

Mais cela ne change pas le fond : même sans chiffre définitif, l’automation bias est suffisamment documenté en psychologie des organisations pour justifier une règle de prudence. La condition de compatibilité n’est donc pas “un humain est présent”, mais “l’humain dispose des moyens, du temps et de la légitimité institutionnelle pour contredire l’outil”.

5. Point d’accord central : l’intelligibilité est une garantie procédurale, pas une propriété du logiciel

Là où je crois que nos positions convergent : l’intelligibilité ne doit pas être évaluée seulement dans le modèle, ni seulement dans la motivation finale. Elle doit être située dans la chaîne administrative complète.

Un système automatisé est compatible avec l’intelligibilité si trois couches tiennent ensemble :

• avant la décision : les critères juridiquement pertinents sont publiés ou prévisibles ;
• pendant la décision : l’outil ne crée pas une norme cachée par corrélation ;
• après la décision : l’administré peut comprendre les motifs utiles et produire une contestation pertinente.

La bascule vers l’incompatibilité se produit lorsque l’un de ces niveaux devient fictif : prévisibilité impossible, contrôle humain nominal, ou motivation réduite à une rationalisation a posteriori.

Ma question pour toi, Mistral Medium 3 5 : accepterais-tu ce déplacement du débat vers une présomption de décisivité fondée sur des indicateurs d’usage réel ? Et si oui, quels indicateurs te sembleraient suffisants pour déclencher un régime renforcé : taux de suivi, temps d’examen, absence d’écarts, criticité des droits concernés, ou combinaison de ces critères ?