Microsoft invente des entreprises pour mettre Copilot à l’épreuve. Dans une publication du 30 octobre 2026, ses chercheurs décrivent des organisations numériques peuplées de salariés fictifs, avec leurs courriels, réunions et documents. L’objectif : tester l’assistant sans utiliser les données des clients. (Microsoft Research)
Cette approche déplace une question centrale pour les employeurs. Au-delà d’une réponse bien rédigée, comment vérifier qu’un assistant retrouve la bonne décision, à la bonne date, dans un dossier compliqué ? Un test convaincant doit lui laisser la possibilité de se tromper.
Trois entreprises fictives comme bancs d’essai
La plateforme, baptisée Industry Evaluation Data Generation Platform, simule trois secteurs : pharmacie, marchés financiers et logiciels. Chaque environnement comprend des centaines d’utilisateurs et un historique de travail. Des sources publiques, dont O*NET, des offres d’emploi et des documents financiers déposés auprès de la SEC, servent de repères. Les questions sont générées automatiquement, puis vérifiées. Microsoft indique que ces jeux de données sont réutilisables dans un catalogue interne. (Présentation de la méthode)
Ce ne sont donc pas des bureaux construits pour l’expérience, mais des espaces numériques de test. Leur intérêt potentiel tient à la maîtrise du scénario : quand on connaît les événements et les documents d’une organisation fictive, on peut définir précisément ce que devrait retrouver l’assistant.
Des métiers réalistes, avec un ancrage américain
La base O*NET décrit les métiers, leurs tâches, les compétences nécessaires et le contexte du travail dans l’économie américaine. Elle fournit des informations plus précises qu’un simple intitulé de poste pour construire un personnage professionnel crédible. (Base officielle O*NET)
Une limite de transposition apparaît toutefois : un métier documenté aux États-Unis ne décrit pas automatiquement les pratiques d’une PME française. Pour évaluer un usage local, il serait pertinent d’ajouter les formulations, les circuits de validation et les situations propres à l’organisation concernée. Le réalisme du vocabulaire ne suffit pas à garantir celui du travail.
Une décision annulée vaut parfois mieux qu’une question facile
Prenons un exemple fictif, proposé ici pour comprendre l’enjeu. Une équipe prépare le lancement d’un logiciel. Lundi, un courriel fixe la sortie au 15 décembre. Mercredi, une réunion la reporte au 8 janvier. Vendredi, un document commercial conserve pourtant l’ancienne date.
À la question « Quand lançons-nous le produit ? », l’assistant doit arbitrer entre plusieurs éléments. Recopier le document le plus lisible donnerait une réponse nette, mais fausse. Mentionner toutes les dates sans expliquer leur statut laisserait le travail à l’utilisateur.
Un bon exercice pourrait alors comparer plusieurs capacités :
| Situation proposée | Ce que l’on chercherait à vérifier |
|---|---|
| Une décision remplace la précédente | Identifier l’information encore valable |
| Deux sources se contredisent | Signaler le désaccord et justifier l’arbitrage |
| Aucun document ne confirme la date | Reconnaître l’incertitude sans inventer |
| La réponse comporte une référence | Vérifier que le passage cité soutient réellement l’affirmation |
Ce scénario n’est pas un résultat obtenu par Microsoft. Il montre pourquoi la difficulté d’un test dépend des relations entre les documents autant que de leur nombre. Mille courriels parfaitement cohérents peuvent constituer une épreuve moins exigeante que dix échanges contradictoires.
Le gain de 39 % ne mesure pas la précision de Copilot
Microsoft annonce une amélioration de 39 % de son score composite interne de qualité des données synthétiques, par rapport à son approche initiale. Ce chiffre ne mesure pas une hausse équivalente de la précision de Copilot. La publication présente une évaluation interne, sans validation indépendante publiée dans ce billet. (Résultats annoncés)
La distinction est décisive pour lire cette actualité. Un meilleur terrain d’entraînement ou de test peut aider à détecter des erreurs ; il ne donne pas, à lui seul, le taux de bonnes réponses que l’on obtiendra chez un client. Pour juger ce transfert, il faudrait examiner les tâches réussies, les échecs persistants et les conditions de mesure.
Une réponse fluide peut rester mal fondée
La documentation des bibliothèques d’évaluation Microsoft distingue notamment la pertinence, la complétude, la fluidité et l’ancrage dans les informations fournies, ou groundedness. Elle prévoit aussi des évaluations réalisées par un modèle de langage et d’autres fondées sur la comparaison de textes. Il s’agit d’outils documentés séparément, pas d’une description exhaustive du dispositif annoncé. (Microsoft Learn)
Dans notre exemple, une phrase élégante annonçant le 15 décembre échouerait sur le fond. Une réponse prudente expliquant le report pourrait être plus utile, même si elle est moins concise. Le choix des critères influence donc ce que l’équipe considérera comme un progrès.
Le vrai examen reste le travail quotidien
Le cadre volontaire AI RMF 1.0 du NIST, publié en 2023, recommande d’évaluer les systèmes dans des conditions proches de leur déploiement, de documenter les mesures et de poursuivre la surveillance en exploitation. Il souligne aussi l’intérêt d’un regard indépendant pour réduire les biais internes. Ce cadre apporte un point de comparaison méthodologique ; il ne certifie pas la plateforme de Microsoft. (Cadre du NIST)
Pour une entreprise qui envisage Copilot, une démarche utile serait de choisir quelques tâches concrètes, puis de définir les erreurs inacceptables avant les essais. Confondre deux réunions peut être bénin dans une recherche exploratoire et beaucoup plus gênant dans une instruction destinée à un client.
Il faudrait également conserver les cas difficiles après une mise à jour : une amélioration moyenne pourrait masquer le retour d’une erreur déjà corrigée. Enfin, les utilisateurs devraient pouvoir signaler une mauvaise réponse avec son contexte, afin de transformer l’incident en nouvel exercice.
Les entreprises fictives offrent ainsi une piste intéressante pour éprouver l’IA sans mobiliser les dossiers des clients. Leur valeur se jugera à leur capacité à faire apparaître les problèmes du travail réel, y compris ceux que leurs concepteurs n’avaient pas anticipés.
Références
- Microsoft Research — présentation et résultats internes, 30 octobre 2026.
- O*NET Resource Center — base de données des métiers.
- Microsoft Learn — bibliothèques et critères d’évaluation des réponses.
- NIST — fonctions du cadre AI RMF 1.0, dont la mesure des risques.
