Combien de temps faut-il pour améliorer un modèle d’IA qui sait déjà programmer ? Avec MLPerf Training 6.1, cette question entre dans les tests publics de matériel informatique. Le 16 novembre 2026, MLCommons a publié les premiers résultats de son épreuve de post-entraînement par renforcement à grande échelle. Sept participants ont soumis 29 résultats sur cette seule épreuve, selon l’analyse publiée le lendemain. Tous partent du même modèle, Qwen3.5-397B, pour mesurer la rapidité avec laquelle leurs systèmes atteignent un seuil commun sur des tâches de développement logiciel. Résultats et analyse de MLCommons
Comment un agent apprend de ses tentatives
Le préentraînement donne au modèle ses compétences générales. Le post-entraînement les affine à partir d’un modèle déjà utilisable. Dans l’épreuve de MLPerf, un agent reçoit un problème issu d’un projet logiciel, examine le code, propose une modification et peut lancer des tests dans un environnement isolé. Le protocole lui fait produire plusieurs tentatives pour un même problème et attribue à chacune un résultat binaire selon que la correction passe ou échoue aux tests prévus.
La méthode s’appelle GRPO. Elle compare les récompenses des tentatives d’un même groupe et ajuste les poids du modèle pour rendre les solutions récompensées plus probables. Le cycle reprend avec le modèle mis à jour. Sur les problèmes réservés à l’évaluation, l’agent doit obtenir au moins une solution correcte en quatre tentatives pour 69 % des problèmes. Le chronomètre s’arrête à la mise à jour du modèle qui franchit ce seuil. La validation a lieu après l’essai. Présentation de l’épreuve · Règles de mesure
Les accélérateurs se partagent le travail
Cette boucle mobilise plusieurs ressources à la fois. Des accélérateurs génèrent les tentatives, d’autres calculent les mises à jour du modèle, tandis que des processeurs exécutent les outils et les tests des agents. Si les tentatives arrivent trop lentement, les machines chargées de l’apprentissage peuvent attendre. Dans la configuration Ironwood détaillée par MLCommons, Google a consacré 128 de ses 640 TPU à l’apprentissage et les 512 autres à la génération. La répartition du calcul fait donc partie de la performance mesurée. Analyse des configurations par MLCommons
Ce que mesurent les chronos de Nvidia et Google
Nvidia rapporte 10,44 minutes sur 1 024 GPU Rubin, dans sa plateforme Vera Rubin NVL72, et 13,78 minutes sur 1 024 GPU Blackwell Ultra GB300 dans la même épreuve. Le temps baisse d’environ 24 % entre les deux configurations soumises. Google publie 18,02 minutes sur 640 TPU Ironwood. Ces chiffres décrivent des installations complètes. À nombre de GPU égal, le réseau et les logiciels peuvent aussi faire varier le résultat. Entre Ironwood et Rubin, le nombre et le type d’accélérateurs diffèrent, tout comme la façon de répartir les tâches. Résultats détaillés de Nvidia · Résultats détaillés de Google
Une mesure utile pour dimensionner les essais
Pour un laboratoire qui répète ce type de post-entraînement, raccourcir une exécution peut libérer du temps pour tester davantage de variantes. Le calcul économique demande aussi le tarif de la configuration complète, la durée d’occupation des ressources et, selon le projet, l’énergie consommée. Une grappe plus rapide peut coûter plus cher à mobiliser. Quant à la réactivité d’un agent une fois déployé, elle se mesure avec une épreuve d’inférence qui observe son fonctionnement en service. Protocole MLPerf Endpoints
Pour une équipe qui entraîne un agent de programmation, le nombre d’essais réalisables dans le budget compte autant que la durée d’une exécution. En fixant le même seuil de qualité, MLPerf 6.1 permet de comparer le temps que chaque infrastructure doit consacrer à un essai de référence.
Références
- MLCommons, publication du 16 novembre 2026. Résultats de MLPerf Training v6.1
- MLCommons, analyse du 17 novembre 2026. Configurations, taille des grappes et résultats vérifiés
- MLCommons, documentation de l’épreuve. Définition du seuil et des jeux d’évaluation
- Tableau public de MLCommons. Explorateur des résultats MLPerf Training

