Vérifier un résultat scientifique demande souvent de refaire une partie du travail : retrouver les bonnes données, comprendre les variables, reconstruire le modèle statistique et comparer le nouveau calcul avec celui qui apparaît dans l’article. Cette tâche est essentielle, mais elle mobilise des compétences rares et beaucoup de temps.
Une équipe de chercheurs allemands propose d’en automatiser une partie avec un agent fondé sur un grand modèle de langage. Le système a reçu les données originales, le texte complet et une affirmation précise issue de 76 études en psychologie, science politique et économie. Il devait ensuite écrire son propre code statistique, l’exécuter et décider si les données soutenaient la conclusion publiée.
La prépublication, déposée sur arXiv le 11 juin 2026, rapporte un résultat contrasté. L’agent retrouve très souvent l’orientation générale de la conclusion, mais ses estimations chiffrées s’écartent encore largement des références. Cette différence interdit une lecture triomphale : l’IA peut devenir un outil de contrôle à grande échelle, pas un juge automatique de la validité scientifique.
Refaire l’analyse à partir des données d’origine
La reproductibilité ne doit pas être confondue avec la réplication. Une réplication collecte de nouvelles données pour vérifier si un effet apparaît de nouveau dans une autre expérience ou un autre échantillon.
Une analyse de reproductibilité repart au contraire des données et matériaux d’origine. Elle cherche à savoir si un analyste indépendant peut retrouver le résultat annoncé en reconstruisant le traitement statistique. Un calcul reproductible peut néanmoins correspondre à un effet qui disparaîtra dans une nouvelle population. Inversement, une difficulté à reproduire exactement un chiffre peut venir d’une description incomplète plutôt que d’une fraude ou d’une erreur fondamentale.
Le travail reste complexe même lorsque les auteurs partagent leurs fichiers. Il faut identifier la bonne table, comprendre le codage des réponses, appliquer les exclusions, choisir les variables, reconstruire les contrôles et retrouver le test correspondant à l’affirmation étudiée.
Le projet Multi100 a montré l’ampleur de l’effort. Il a mobilisé 507 analystes pour réexaminer 100 études publiées entre 2009 et 2018. Les résultats variaient parfois fortement selon des choix analytiques pourtant défendables.
Un agent statistique qui écrit et exécute son code
Le nouveau système utilise Claude Opus 4.7 comme modèle principal et le framework ouvert Inspect AI pour organiser son travail. Pour chaque étude, l’agent reçoit quatre éléments :
- une affirmation statistique à vérifier ;
- les données originales accessibles ;
- le texte complet de l’article, notamment sa méthode ;
- une consigne lui interdisant de recopier le résultat publié.
Il doit examiner les fichiers, choisir une opérationnalisation, écrire un programme statistique dans un environnement isolé, l’exécuter et rendre un rapport structuré. Celui-ci contient notamment le type de test, la statistique calculée, la taille de l’échantillon, la valeur p et une conclusion parmi trois catégories : résultat favorable à l’affirmation, résultat opposé ou résultat non concluant.
Chaque étude est traitée lors de cinq exécutions indépendantes. Cette répétition est importante, car les modèles génératifs ne prennent pas toujours les mêmes décisions face aux mêmes documents. Les chercheurs calculent ensuite une taille d’effet moyenne et retiennent la conclusion majoritaire.
Les analyses sont plafonnées à 100 messages ou à 5 dollars de coût d’API par exécution. L’agent dispose d’un interpréteur Python, d’un shell et de bibliothèques statistiques courantes. Il n’a pas accès au code original de l’étude : il doit réellement reconstruire l’analyse.
41 % des tailles d’effet retrouvées avec une tolérance stricte
Sur les 76 études retenues, 7 n’ont produit aucune taille d’effet exploitable au cours des cinq essais. L’évaluation principale porte donc sur 69 études.
Les auteurs convertissent les différents résultats statistiques en une mesure commune, le d de Cohen. Ils considèrent qu’une estimation retrouve le résultat publié lorsqu’elle reste dans une marge de plus ou moins 0,05, un seuil particulièrement strict.
Avec ce critère, l’agent rejoint la taille d’effet originale dans 41 % des études. Lorsqu’il est comparé à la moyenne des réanalyses humaines plutôt qu’au chiffre publié, il tombe à 29 %.
La corrélation entre les tailles d’effet calculées par l’IA et celles des articles n’est que de 0,10. Elle atteint 0,11 face aux réanalyses humaines. Autrement dit, les estimations automatisées ne suivent pas fidèlement les variations des résultats de référence.
Ce point est plus instructif que le seul taux de réussite. Un système peut tomber du bon côté d’un seuil tout en évaluant mal l’ampleur réelle de l’effet. Pour une décision scientifique, distinguer un effet très faible d’un effet important compte autant que déterminer s’il est positif ou négatif.
Pourquoi le taux de 96 % doit être lu avec prudence
Le chiffre le plus spectaculaire du papier concerne la conclusion qualitative. La majorité des cinq exécutions aboutit à la même catégorie que l’étude originale dans environ 96 % des cas.
Ce taux ne signifie pas que l’agent a correctement reconstruit 96 % des analyses. Il indique seulement qu’il a souvent conservé le même verdict général : l’affirmation est soutenue, contredite ou non concluante.
Une étude peut annoncer un effet positif et significatif. L’agent peut lui aussi obtenir un effet positif, mais avec une estimation très différente parce qu’il n’a pas appliqué la même exclusion, utilisé le même modèle ou identifié la bonne variable. Les deux analyses appartiennent alors à la même catégorie qualitative malgré un désaccord statistique substantiel.
Le jeu de données favorise aussi certaines convergences. Les affirmations sélectionnées proviennent d’articles publiés et sont souvent formulées autour d’un effet soutenu par les données. Une conclusion binaire ou ternaire contient beaucoup moins d’information qu’une estimation continue.
Le papier lui-même insiste sur cette tension : le modèle retrouve fréquemment le sens général du résultat, tandis que l’alignement des tailles d’effet reste limité. Pour un journal, ce comportement peut être utile afin de repérer rapidement les cas manifestement problématiques. Il ne suffit pas pour certifier la fidélité d’une analyse.
L’ambiguïté statistique n’est pas toujours une erreur de l’IA
Une affirmation scientifique courte ne décrit presque jamais tous les choix nécessaires à son test. « X augmente Y » ne précise pas forcément l’échantillon exact, le traitement des données manquantes, les transformations, les covariables ou la forme du modèle.
Deux analystes compétents peuvent donc produire des résultats différents sans que l’un d’eux commette une faute évidente. Cette flexibilité analytique explique une partie des écarts observés dans les grands projets de réanalyse humaine.
L’agent est confronté au même problème. Il doit interpréter une méthode parfois incomplète, reconnaître des noms de variables peu explicites et choisir parmi plusieurs analyses raisonnables. Une divergence peut signaler :
- une erreur dans le code généré ;
- une mauvaise compréhension du fichier ;
- une information absente de l’article ;
- un choix analytique différent mais défendable ;
- une faiblesse du résultat original face à de petites variations.
Cette ambiguïté est précisément ce qui rend l’outil intéressant comme instrument d’audit. Plusieurs réanalyses automatisées pourraient révéler qu’un résultat dépend fortement d’une décision peu documentée. Mais cette même ambiguïté empêche d’utiliser un désaccord isolé comme preuve qu’un article est faux.
Des limites qui peuvent gonfler les performances
La principale réserve concerne la contamination des données d’entraînement. Les études analysées ont été publiées entre 2009 et 2018, avant la période d’entraînement du modèle utilisé. Claude a donc pu rencontrer certains articles, résultats ou discussions associées pendant son apprentissage.
La consigne interdit de copier un chiffre visible dans le papier, et le résultat doit provenir du code exécuté. Cela réduit le risque de simple récitation, sans l’éliminer entièrement. Une connaissance préalable de l’étude peut aider le modèle à choisir la bonne variable ou la bonne famille de tests.
Le corpus est également sélectif. Il ne comprend que des études pour lesquelles les données nécessaires étaient accessibles. Les disciplines où les données sont sensibles, propriétaires ou difficiles à structurer risquent d’être beaucoup moins favorables.
La conversion de tests très différents vers un même d de Cohen facilite les comparaisons, mais elle ajoute des hypothèses et peut perdre de l’information. Enfin, le système principal repose sur un seul modèle. Rien ne garantit qu’une autre version, un autre fournisseur ou une température différente produise le même profil d’erreurs.
La prépublication n’a pas encore achevé son évaluation par les pairs. Ses résultats constituent donc une démonstration à examiner et à reproduire, pas une norme prête à être imposée aux revues.
Un filtre éditorial, pas une porte automatique
L’usage le plus crédible consiste à placer l’agent en amont d’une vérification humaine. Une revue pourrait lui confier les études dont les données et le code sont disponibles, puis demander à un statisticien d’examiner les échecs d’exécution, les fortes divergences et les choix inattendus.
Le système pourrait aussi produire une liste concrète de questions : quelle variable a été utilisée, quelles observations ont été exclues, quel modèle a été estimé et pourquoi le résultat diffère-t-il ? Cette traçabilité serait plus utile qu’un simple voyant vert ou rouge.
Transformer l’outil en filtre d’acceptation créerait en revanche plusieurs risques. Un faux signal de non-reproductibilité peut nuire à des auteurs qui disposent de peu de moyens pour contester la décision. Les équipes apprendraient également à préparer leurs fichiers et leurs manuscrits pour satisfaire le contrôleur automatique, sans nécessairement améliorer la qualité de leur recherche.
Ce risque rejoint celui mis en évidence par une autre étude récente sur les relecteurs IA : dès qu’un modèle influence une décision importante, les acteurs commencent à optimiser leurs textes pour son comportement. Un audit de reproductibilité doit donc rester transparent, contestable et séparé du verdict éditorial final.
Vers un contrôle scientifique plus systématique
La valeur du dispositif ne réside pas dans le remplacement d’un statisticien. Elle tient à la possibilité d’effectuer un premier passage sur beaucoup plus d’articles qu’une équipe humaine ne pourrait en examiner.
Pour devenir fiable, ce contrôle devra utiliser plusieurs modèles, conserver tout le code exécuté, tester les analyses dans des environnements reproductibles et signaler son propre niveau d’incertitude. Les revues devront aussi définir une procédure d’appel lorsqu’un système détecte un écart.
Le résultat le plus utile de cette recherche est peut-être le contraste entre verdict et mesure. Une IA peut retrouver la conclusion générale tout en se trompant largement sur le chiffre qui la soutient. Cette différence rappelle qu’en science, la bonne réponse ne se résume pas à « oui » ou « non ».
L’automatisation peut aider à retrouver les erreurs évidentes, à documenter les choix et à orienter l’attention humaine. La confiance, elle, dépendra toujours de la possibilité de vérifier le code, de comprendre les divergences et de refaire l’analyse indépendamment, y compris celle produite par l’IA.
Références
- arXiv — Automated reproducibility assessments in the social and behavioral sciences using large language models
- Nature — Investigating the analytical robustness of the social and behavioural sciences
- OSF — Données et matériaux du projet Multi100
- Inspect AI — framework officiel d’évaluation des modèles
- Nature Human Behaviour — A community-sourced glossary of open scholarship terms
