Entraînement des IA : le Web prépare un refus commun

Ordinateur affichant robots.txt et les deux lignes du signal commun de refus d’entraînement des IA.

Dire non à l’entraînement des IA pourrait bientôt demander moins de maintenance aux éditeurs web. Le 30 octobre 2026, Google, Microsoft et OpenAI ont annoncé leur soutien à un signal partagé dans robots.txt. Anthropic indique aussi avoir commencé son implémentation. L’objectif : exprimer un même choix auprès de plusieurs fournisseurs, avec un calendrier encore progressif. (Google, Microsoft, OpenAI, Anthropic, message à l’IETF)

Pour un média, une boutique ou un blog professionnel, l’enjeu dépasse les deux lignes de configuration. Il s’agit de pouvoir décider séparément comment son contenu nourrit un modèle, apparaît dans une réponse ou reste accessible aux moteurs. Ces usages se ressemblent à l’écran, mais leurs conséquences diffèrent.

Un choix commun pour éviter la collection de règles

OpenAI présente le mécanisme comme une simplification : les responsables de sites doivent aujourd’hui identifier les robots des fournisseurs et maintenir leurs instructions séparément. Un signal commun réduirait ce travail pour les entreprises qui le respectent. La participation reste volontaire et les contrôles existants d’OpenAI continueront de s’appliquer. (Annonce d’OpenAI)

L’intérêt éditorial est concret. Une petite rédaction peut avoir une position claire sur la réutilisation de ses enquêtes sans disposer d’une équipe chargée de suivre chaque nouveau robot. Une convention partagée rendrait cette politique plus facile à maintenir. Elle ne dira toutefois pas, à elle seule, si cette politique est effectivement respectée.

Ce que les deux lignes de robots.txt expriment

La proposition emploie l’identifiant __usage_ai-training, avec deux tirets bas au début. Le refus pour l’ensemble du site s’écrit ainsi :

User-Agent: __usage_ai-training
Disallow: /

Il s’agit d’une préférence sur l’utilisation du contenu, indépendante des règles qui autorisent un robot à visiter les pages. Kevin Kelley, auteur du texte et salarié d’Anthropic, insiste sur cette séparation : les instructions propres aux robots continuent de régir la collecte. (Présentation du projet par son auteur)

L’entraînement ne couvre pas toute consultation par une IA

Dans le brouillon, entraîner désigne l’utilisation d’un contenu pour modifier les paramètres appris d’un modèle génératif. Consulter une page afin de préparer une réponse relève d’un autre usage, souvent appelé grounding.

Le texte prévoit des choix par chemin. En revanche, un groupe User-Agent: * ne vaut pas expression de cette nouvelle préférence. Un fichier sans l’identifiant spécifique n’exprime aucun choix au titre de ce mécanisme. Enfin, le document déposé le 30 octobre est un Internet-Draft : une proposition en cours de travail, pas une norme IETF définitivement adoptée. (Brouillon technique, version 00)

Le calendrier pointe surtout vers 2027

Au 2 novembre, les annonces ne permettent pas de considérer le signal comme opérationnel partout.

Fournisseur Prise en charge annoncée
Google Objectif en 2027
Microsoft À partir du 1er février 2027, au fil des explorations
OpenAI Dans les prochains mois, détails d’implémentation à venir
Anthropic Implémentation commencée, sans date de généralisation annoncée

Ces échéances proviennent des communications du 30 octobre de Google, de Microsoft, d’OpenAI et du message de Kevin Kelley.

Cette transition oblige à conserver une lecture fournisseur par fournisseur. Publier une préférence et obtenir sa prise en compte sont deux étapes différentes.

Google et Microsoft conservent leurs propres réglages

Google prévoit d’interpréter un refus commun comme un refus via Google-Extended lorsque ce dernier n’est pas explicitement spécifié. Les instructions particulières à Google restent donc importantes. L’entreprise précise aussi que les sites autorisant explicitement Google-Extended peuvent être éligibles aux réponses avec liens dans Gemini Apps. On ne peut pas présenter ce choix comme sans effet sur tous les usages de Gemini. (Google Search Central)

Chez Microsoft, entraînement et grounding auront des préférences indépendantes. Le groupe indique qu’un site pourra refuser le premier tout en restant éligible au second et aux résultats classiques de Bing, sous réserve des conditions normales d’exploration et d’indexation. Aucune inclusion, aucun trafic ni paiement n’est garanti. (Guide Microsoft)

Une migration particulière pour NoArchive et NoCache

Microsoft cessera de lire ces anciennes préférences pour l’entraînement et le grounding après le 1er mars 2027. Les sites concernés doivent consulter son parcours de transition : pour préserver une restriction de grounding, il prévoit les réglages sur les pages et une préférence temporaire dans Bing Webmaster Tools. Copier seulement le nouveau bloc robots.txt ne couvre pas cette migration. (Instructions de transition)

Une déclaration lisible reste différente d’un contrôle d’accès

Le protocole historique robots.txt, normalisé dans la RFC 9309 de 2022, ne remplace pas une mesure de sécurité. Son fichier est public ; les chemins qu’il mentionne deviennent même découvrables. Un contenu confidentiel doit donc être protégé par un véritable dispositif d’accès, comme une authentification. (RFC 9309, section 3)

Un exemple hypothétique permet de poser les bonnes questions. Un éditeur souhaite que ses fiches pratiques soient citées dans les réponses, mais refuse qu’elles servent à entraîner de futurs modèles. Sa politique comporte alors deux décisions. Il doit vérifier comment chaque fournisseur les traduit, au lieu de chercher un bouton unique « bloquer l’IA ».

Avant de modifier un site, une méthode utile consiste à inventorier les règles existantes, écrire l’objectif pour chaque usage, puis vérifier les dates et les priorités dans les documentations. Conserver une copie datée de la configuration facilitera ensuite le suivi. Ce sont des étapes de préparation, pas une preuve de conformité des collecteurs.

Le vrai progrès sera un choix vérifiable

Le signal commun peut réduire le coût technique d’un refus. Sa valeur dépendra désormais de la couverture réelle des fournisseurs, de la clarté de leurs exceptions et des moyens offerts aux éditeurs pour comprendre le traitement de leurs pages.

Le prochain point à surveiller est donc précis : quelles entreprises documenteront une prise en charge effective, à quelle date et pour quels services ? C’est à ce moment qu’une intention commune commencera à devenir un outil utilisable au quotidien.

Références

About Salah YAHIAOUI

Salah YAHIAOUI publie sur The Pingouin des tutoriels Python et des décryptages sur l’intelligence artificielle. Les cas pratiques récents précisent leurs données, leurs tests et leurs limites. À propos, méthode éditoriale et contact.

View all posts by Salah YAHIAOUI →

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. Découvrez comment les données de vos commentaires sont traitées.