Une réponse peut contenir uniquement des informations exactes et rester inutilisable parce qu’il en manque une partie. C’est le problème que met en lumière GDP.xlsx, une évaluation des agents d’IA confrontés aux tableurs professionnels. Dans ce test, le meilleur score ne dépasse pas 38,3 % de réponses entièrement conformes aux critères attendus.
Le rapport de Surge AI déposé sur arXiv le 13 novembre documente un benchmark lancé le 30 septembre. Il porte sur 70 demandes rédigées par des professionnels de 13 domaines, avec 791 critères d’évaluation. Les tâches ont été construites à partir de situations où des modèles avaient posé problème : elles constituent un test exigeant, pas un échantillon représentatif de toutes les utilisations d’Excel.
Pourquoi une grille de cellules peut dérouter un agent
La fiche officielle du jeu de données décrit 58 fichiers Excel et 12 fichiers CSV. Les classeurs totalisent 393 feuilles ; certains en comptent jusqu’à 60. L’ensemble dépasse deux millions de cellules et champs renseignés.
L’agent reçoit une demande métier et le fichier correspondant. Il doit retrouver les éléments pertinents, les rapprocher et répondre en tenant compte du contexte. La difficulté ne se réduit donc pas à écrire une formule ou additionner une colonne.
Dans un classeur d’entreprise, un statut peut dépendre d’une exception documentée ailleurs. Un tableau de synthèse peut donner une première lecture correcte mais insuffisante pour trancher. Pour l’utilisateur, la question tient en une phrase ; pour l’agent, elle implique parfois de reconstruire la logique du document.
Ce que mesure vraiment le score de 38,3 %
Le classement officiel consulté le 16 novembre place Gemini 4 Argon en tête à 38,3 %, devant Claude Opus 5.5 à 30,3 % et Claude Sonnet 5.5 à 29,1 %. Ces résultats concernent des configurations précises et les conditions de cette évaluation. Le rapport décrit les configurations évaluées en septembre : il ne s’agit pas d’un nouveau duel organisé cette semaine.
Le rapport utilise un indicateur strict : une tentative réussit seulement si sa réponse satisfait tous les critères. Le score ne désigne donc ni la proportion de cellules correctement lues, ni la part moyenne d’informations exactes. Cinq tentatives par tâche sont prévues ; les taux sont ensuite moyennés entre les tâches. Certaines erreurs techniques sont exclues du calcul.
Une réponse partielle peut être un échec complet
Pour comprendre cette exigence, imaginons une demande de liste exhaustive : trouver sept dossiers sur huit sans inventer le moindre dossier reste insuffisant. Cet exemple illustre la différence entre exactitude des éléments cités et exhaustivité de la réponse.
Le seuil est sévère, mais il correspond à une question pratique : peut-on utiliser le résultat sans reprendre toute la recherche ? Il faut toutefois éviter d’en déduire que l’IA échouerait dans les mêmes proportions sur n’importe quel fichier ou sur une opération élémentaire.
Les oublis se cachent derrière des réponses convaincantes
Surge AI décrit notamment un cas de contrôle de certification. Deux produits paraissent prêts sur la feuille principale. Une autre feuille précise cependant qui prend en charge une certification en attente, ce qui change l’autorisation de production. Dans l’exemple analysé, l’agent recommande les deux produits alors qu’un seul remplit les conditions.
Un second cas concerne des loyers : le modèle repère les fins de remises, mais oublie les baux concernés par une possibilité de rupture anticipée, documentée dans un autre onglet. Il suit correctement une branche du raisonnement sans traiter l’autre.
L’enjeu est alors moins spectaculaire qu’une invention manifeste, mais plus difficile à repérer : la présentation inspire confiance alors que la recherche n’est pas terminée. Pour un responsable qui connaît mal le classeur, l’absence d’un élément est souvent moins visible qu’un chiffre aberrant.
Les outils disponibles ne suffisent pas à garantir leur bon usage
Le dépôt technique de GDP.xlsx montre que les agents disposent d’un environnement d’analyse, avec notamment Python et LibreOffice. Ils peuvent inspecter les fichiers et effectuer des calculs. La réponse finale en texte est évaluée ; le benchmark ne mesure pas la qualité d’un classeur produit par l’agent.
Ce cadre compte pour interpréter les résultats : ils évaluent un modèle accompagné de ses outils et de sa manière de travailler. Un score ne permet pas d’isoler parfaitement ce qui relève du raisonnement, de l’exploration du fichier ou des choix de l’environnement.
Autre réserve : l’évaluation est publiée par Surge AI, qui développe le benchmark. Trois exemples sont publics, tandis que les 67 autres tâches restent réservées pour limiter leur contamination. Cette protection réduit aussi ce qu’un lecteur peut examiner directement. Le dépôt d’un rapport sur arXiv ne constitue pas, à lui seul, une réplication indépendante.
Demander des preuves, puis contrôler la couverture
Pour une équipe qui utilise déjà l’IA sur des tableurs, la leçon opérationnelle est de vérifier deux choses séparément : les éléments retenus sont-ils justes, et l’ensemble demandé a-t-il été couvert ?
Une méthode raisonnable consiste à demander les feuilles et cellules justifiant chaque résultat, puis les conditions examinées et les points restés incertains. Sur les décisions importantes, ces indications doivent permettre une vérification humaine réelle. Elles ne remplacent pas le contrôle : une liste de références peut elle aussi être incomplète.
GDP.xlsx invite ainsi à déplacer le critère de réussite. Le résultat utile n’est pas seulement une réponse bien rédigée ou un calcul plausible : c’est une réponse dont on peut vérifier les preuves, les exclusions et les limites.
Références
- Rapport GDP.xlsx, arXiv, 13 novembre 2026.
- Surge AI : classement officiel et analyse des cas d’échec.
- Fiche du jeu de données sur Hugging Face.
- Environnement d’évaluation sur GitHub.

