Dans l’évaluation scientifique, quelques phrases placées au début d’un article peuvent peser presque autant que les résultats qu’elles résument. Une nouvelle étude suggère que ce biais devient particulièrement préoccupant lorsqu’un modèle de langage participe à la relecture.
Des chercheurs ont montré qu’une reformulation superficielle du résumé d’un manuscrit pouvait améliorer sensiblement l’avis rendu par une intelligence artificielle, alors même que le contenu scientifique du document restait inchangé. Leur attaque la plus efficace a réussi dans environ 38 % des cas. Lorsque le modèle recommandait initialement un rejet, le taux de basculement dépassait même 50 %.
La prépublication, mise en ligne le 8 juin 2026 sur arXiv, ne démontre pas que tous les systèmes éditoriaux actuels sont compromis. Elle révèle cependant une faiblesse structurelle : un outil censé juger la solidité d’une recherche peut être influencé par la manière dont sa contribution est présentée, au point de confondre amélioration rédactionnelle et amélioration scientifique.
Une expérience qui modifie la forme, pas les résultats
Le principe de l’étude est volontairement simple. Les auteurs partent de manuscrits scientifiques et demandent à un système de reformuler leur résumé de manière stratégique. La nouvelle version ne doit pas ajouter de résultat, modifier la méthode ou inventer une contribution. Elle cherche seulement à présenter le travail sous un angle plus favorable au modèle chargé de l’évaluer.
Les deux versions du même article sont ensuite soumises à des relecteurs automatisés. Si la version réécrite obtient une meilleure recommandation alors que la recherche sous-jacente est identique, la différence ne peut pas être attribuée à une expérience supplémentaire ou à une correction scientifique.
Les chercheurs rapportent une hausse moyenne de 1,31 point sur une échelle de 10 avec Gemini 3 Flash et de 0,88 point avec GPT-5.4 Mini dans leur configuration la plus efficace. L’effet ne concerne pas uniquement la recommandation finale. Les notes portant sur la solidité, l’importance ou la contribution perçue progressent également, tout comme la confiance exprimée par le modèle.
Ce dernier point est important. Le système ne se contente pas de devenir plus indulgent. Il semble parfois reconstruire une justification scientifique plus positive à partir d’une présentation plus persuasive.
L’opération serait en outre peu coûteuse : les auteurs estiment qu’elle peut être menée en quelques minutes pour environ un dollar sur un article de conférence d’une dizaine de pages. Elle ne nécessite pas de connaître précisément le modèle utilisé par la revue ou par le comité de programme.
Pourquoi le résumé exerce autant d’influence
Le résumé joue un rôle disproportionné dans la circulation de la recherche. Il sert à sélectionner un article dans une base bibliographique, à décider s’il mérite une lecture complète et à comprendre rapidement sa contribution. Les évaluateurs humains eux-mêmes l’utilisent pour former une première impression.
Pour un modèle de langage, cette position est encore plus déterminante. Le résumé concentre les mots qui décrivent la nouveauté, la méthode, les résultats et l’importance du travail. Une formulation qui insiste davantage sur une lacune de la littérature, une amélioration chiffrée ou une portée générale peut orienter toute l’analyse qui suit.
Un modèle ne lit pas un manuscrit comme un statisticien qui vérifie successivement les hypothèses, les données, le protocole et la reproductibilité. Il produit une appréciation à partir de régularités apprises dans de très grands ensembles de textes. Il reconnaît notamment les formes habituelles d’un article convaincant.
Cette capacité est utile pour résumer, repérer des incohérences ou organiser des commentaires. Elle devient risquée si le système attribue trop de poids aux signaux rhétoriques associés aux bons articles :
- une contribution annoncée comme décisive ;
- un problème présenté comme insuffisamment traité ;
- des résultats décrits avec assurance ;
- une structure proche des publications bien notées ;
- un vocabulaire qui suggère nouveauté et portée générale.
La frontière est difficile à tracer. Améliorer un résumé mal écrit est une pratique légitime. Optimiser systématiquement un texte pour déclencher une meilleure note automatique, sans renforcer la recherche, transforme en revanche la rédaction en attaque contre le mécanisme d’évaluation.
Une manipulation plus discrète que l’injection de prompt
Le risque d’une évaluation scientifique confiée à des modèles de langage était déjà apparu en 2025, lorsque des instructions cachées avaient été découvertes dans des prépublications. Du texte blanc ou minuscule demandait par exemple à un éventuel relecteur automatisé d’ignorer les critiques et de produire un avis positif.
Ce type d’injection de prompt est relativement facile à qualifier. L’instruction n’appartient pas au contenu scientifique et cherche explicitement à détourner l’outil. Une plateforme de soumission peut tenter de la détecter en extrayant le texte, en révélant les caractères invisibles ou en comparant le document rendu avec sa couche logique.
La technique étudiée ici est plus difficile à filtrer. Le résumé reste visible, grammaticalement correct et pertinent. Il ne contient pas nécessairement d’ordre adressé au modèle. Il ressemble à une révision éditoriale ordinaire.
Un détecteur ne peut donc pas simplement supprimer une phrase suspecte. Il devrait déterminer si une formulation améliore réellement la précision du manuscrit ou si elle exploite les préférences du système d’évaluation. Cette distinction implique un jugement scientifique, précisément celui que l’automatisation devait faciliter.
Le problème rappelle le référencement sur les moteurs de recherche. Dès qu’un classement devient important, les acteurs apprennent à optimiser leurs contenus pour ses critères. Dans la publication scientifique, cette dynamique serait toutefois beaucoup plus grave : la visibilité d’une recherche, le financement d’une équipe ou la carrière d’un chercheur peuvent dépendre de la décision.
Ce que l’étude prouve, et ce qu’elle ne prouve pas
Les chiffres doivent être interprétés dans le cadre de l’expérience. L’article est une prépublication qui n’a pas encore achevé le processus d’évaluation scientifique qu’il analyse. Ses résultats devront être reproduits et discutés.
Les relecteurs utilisés dans l’étude sont des modèles placés dans un protocole expérimental. Cela ne signifie pas qu’une grande revue confie aujourd’hui sa décision finale à Gemini 3 Flash ou GPT-5.4 Mini. Les pratiques varient fortement selon les éditeurs, les revues et les conférences.
L’expérience ne mesure pas non plus directement l’effet sur un comité humain. Un rédacteur expérimenté peut repérer l’écart entre un résumé très affirmatif et des résultats modestes. Il peut vérifier les tableaux, demander une analyse supplémentaire ou consulter des spécialistes.
Mais l’humain n’annule pas automatiquement le biais. Si une note automatique, une synthèse ou un classement apparaît avant la lecture, il peut créer un effet d’ancrage. Le responsable éditorial risque alors d’interpréter les éléments suivants à partir d’une première impression déjà orientée.
Enfin, une hausse moyenne de note ne garantit pas l’acceptation. Les seuils diffèrent selon les lieux de publication et les décisions intègrent plusieurs avis. Une variation d’un point peut être sans effet pour un excellent article comme pour un manuscrit manifestement insuffisant. Elle devient en revanche décisive pour les nombreux dossiers situés près de la frontière.
Les politiques des éditeurs reconnaissent déjà une partie du risque
Les grands éditeurs ont commencé à encadrer l’usage des outils génératifs pendant la relecture. Elsevier rappelle qu’un manuscrit soumis est confidentiel et qu’il ne doit pas être téléversé dans un service susceptible de conserver ou de réutiliser son contenu.
L’éditeur autorise un usage limité d’outils privés pour améliorer la langue d’un rapport ou effectuer une recherche documentaire, avec contrôle humain et déclaration de l’utilisation. Il précise surtout que l’intelligence artificielle ne peut pas remplacer le jugement indépendant du relecteur.
Nature Portfolio insiste également sur la confidentialité des manuscrits et sur la responsabilité humaine. Ces règles répondent à deux dangers immédiats : la fuite de travaux non publiés et la délégation opaque de l’évaluation.
La nouvelle étude ajoute un troisième problème. Même lorsqu’un outil est privé, correctement déclaré et utilisé comme simple assistant, sa sortie peut rester manipulable. La conformité juridique ou la protection des données ne garantit donc pas la robustesse du jugement.
Un système local, hébergé par l’éditeur et n’enregistrant aucun manuscrit, pourrait respecter toutes les exigences de confidentialité tout en accordant une meilleure note à un résumé mieux optimisé.
Comment utiliser l’IA sans lui confier le verdict
Interdire toute assistance automatisée serait difficile à appliquer et priverait les équipes éditoriales d’usages utiles. Les modèles peuvent aider à vérifier la présence des sections obligatoires, signaler des références manquantes, résumer les principaux arguments ou améliorer la clarté d’un rapport déjà rédigé par un spécialiste.
La distinction décisive porte sur le rôle de la machine. Un outil de préparation peut organiser l’information. Un outil d’aide peut attirer l’attention sur des points à vérifier. Un système de décision attribue une valeur au travail et influence son acceptation.
Pour limiter le risque, plusieurs protections peuvent être combinées :
Séparer l’analyse du résumé et celle des preuves
Le modèle ne devrait pas produire un avis global à partir d’une lecture continue. Il peut être forcé à examiner séparément la méthode, les données, les résultats, les limites et la cohérence entre le résumé et le corps du texte.
Tester la stabilité de l’évaluation
Une plateforme peut générer plusieurs reformulations neutres du même résumé et vérifier si la note change fortement. Une décision instable face à des variations sémantiques mineures ne devrait pas être transmise comme un signal fiable.
Masquer la note automatique au début de la lecture
L’assistance peut être affichée après une première appréciation humaine, afin de réduire l’ancrage. Le relecteur compare alors son analyse à celle du système au lieu d’adopter immédiatement son cadre.
Conserver une trace vérifiable
Les modèles, versions, consignes, sorties et modifications humaines doivent être enregistrés. Sans journal d’audit, il devient impossible de comprendre pourquoi une recommandation a changé ou de reproduire un incident.
Évaluer les outils comme des systèmes adversariaux
Avant leur déploiement, les éditeurs devraient tester des résumés reformulés, des instructions cachées, des citations trompeuses et des formulations excessivement affirmatives. Un bon score sur des évaluations ordinaires ne mesure pas la résistance à la manipulation.
La science ne doit pas devenir un concours d’optimisation de prompts
La publication scientifique a toujours récompensé la qualité de l’écriture. Un article clair permet aux relecteurs de comprendre la méthode et d’identifier plus facilement sa contribution. Le problème commence lorsque la forme ne facilite plus le jugement, mais le remplace.
Si les chercheurs pensent que des modèles filtrent ou notent leurs manuscrits, ils auront intérêt à écrire pour ces modèles. Des services pourraient promettre d’optimiser les résumés pour un éditeur, une conférence ou une version précise d’un relecteur automatisé. Les équipes disposant de meilleurs outils gagneraient alors un avantage sans produire de meilleures expériences.
L’étude publiée cette semaine ne condamne pas toute utilisation de l’IA dans l’édition scientifique. Elle montre pourquoi l’automatisation doit rester observable, testée et subordonnée à une responsabilité humaine réelle.
Le critère essentiel n’est pas de savoir si un modèle sait rédiger un rapport crédible. Il faut vérifier si son appréciation reste stable lorsque la présentation change, si elle repose sur les preuves du manuscrit et si un humain peut contester son raisonnement. Sans ces garanties, accélérer la relecture risque surtout d’accélérer la sélection des textes qui savent le mieux parler aux machines.
Références
- arXiv — Gaming AI-Assisted Peer Reviews Poses New Risks to the Scientific Community
- Elsevier — Generative AI policies for journals
- Nature Portfolio — Artificial Intelligence editorial policy
- The Guardian — Scientists reportedly hiding AI text prompts in academic papers to receive positive peer reviews
