La dictée vocale a transformé le smartphone en machine à écrire pour celles et ceux qui peuvent parler. Pour des millions de personnes dont la langue première passe par les mains, le visage et le corps, cette porte d’entrée est longtemps restée fermée. Google DeepMind veut commencer à la rouvrir avec SL2T, un modèle qui traduit une langue des signes en texte à partir de la caméra d’un téléphone.
Présenté le 12 août 2026, le système n’est pas une démonstration confinée à un laboratoire. Il alimente deux fonctions livrées sur le Pixel 11 : la saisie en langue des signes dans Gboard et une réponse signée transformée en texte dans Live Transcribe. Une personne peut ainsi signer une recherche, un message ou une consigne adressée à Gemini au lieu de la taper.
Le lancement mérite cependant une formulation précise. La première version traduit la langue des signes américaine (ASL) vers l’anglais. Elle ne comprend pas encore la langue des signes française, ne produit pas de signes en retour et ne remplace pas un interprète. Sa portée réelle se situe ailleurs : pour la première fois, Google place un modèle de traduction gestuelle à grande échelle dans un outil de saisie grand public.
Un clavier dicté avec le corps plutôt qu’avec la voix
Dans Gboard, SL2T fonctionne comme une nouvelle modalité de dictée. L’utilisateur ouvre le clavier, active la caméra et signe devant le téléphone. Le texte anglais apparaît dans le champ de saisie de l’application en cours. Le principe vaut donc pour une recherche web, une note, un courriel, un message ou une demande envoyée à un assistant, sans imposer une application de communication séparée.
Live Transcribe ajoute un scénario de conversation. Les paroles d’une personne entendante sont déjà converties en sous-titres. Désormais, la personne sourde peut préparer sa réponse en ASL, la faire traduire, la corriger puis choisir quand l’afficher ou la faire prononcer. Ce contrôle est important : le système ne diffuse pas automatiquement une phrase qu’il vient de générer.
Google et le comité consultatif associé au projet présentent donc SL2T comme un outil de brouillon assisté. La personne qui signe reste chargée de relire l’anglais obtenu et peut le modifier au clavier avant de l’envoyer. Cette conception réduit le risque qu’une erreur soit attribuée à tort à l’utilisateur. Elle suppose aussi que celui-ci lise suffisamment l’anglais et maîtrise les commandes tactiles pour repérer puis corriger les contresens.
Le périmètre initial est volontairement quotidien : commander dans un café, demander une information dans un commerce, rédiger un message, chercher une adresse ou prendre des notes. C’est moins spectaculaire qu’un « interprète universel », mais beaucoup plus proche d’un usage reproductible.
Pourquoi une langue des signes ne se résume pas à reconnaître des mains
Une langue des signes n’est ni un alphabet mimé ni une traduction mot à mot d’une langue orale. L’ASL possède sa propre grammaire. Le sens se construit simultanément avec la forme et la trajectoire des mains, leur position dans l’espace, les mouvements du torse, l’orientation de la tête, le regard et les expressions du visage.
Cette simultanéité rend le problème très différent de la transcription vocale. Un système de reconnaissance de parole reçoit un signal linéaire et cherche généralement des unités successives. Pour comprendre une phrase signée, le modèle doit suivre plusieurs canaux visuels à la fois, interpréter leurs relations et produire ensuite une phrase naturelle dans une autre langue.
SL2T évite l’étape des gloses, ces étiquettes textuelles souvent utilisées par les chercheurs pour noter les signes principaux. Elles facilitent l’annotation, mais aplatissent une partie de la grammaire : une négation portée par un mouvement de tête ou une question indiquée par les sourcils peut disparaître. Le modèle de Google traduit directement une séquence de mouvements vers le texte.
Cette approche rappelle aussi qu’il n’existe pas de langue des signes universelle. Plus de 200 langues des signes sont utilisées dans le monde, avec leurs variantes régionales et sociales. Avoir entraîné un modèle sur plusieurs d’entre elles ne signifie pas qu’il sache déjà les traduire dans un produit.
Le téléphone transforme la vidéo en 130 points de repère
Le modèle de traduction ne reçoit pas directement les images filmées. Sur le téléphone, MediaPipe Holistic repère 130 points répartis sur le visage, les mains et le corps. Il transforme chaque image de la vidéo en coordonnées géométriques. La vidéo brute est alors supprimée, tandis que cette suite de points est envoyée aux serveurs de Google pour être traduite.
Une protection par minimisation, pas un traitement hors ligne
Ce choix répond à deux contraintes. Il réduit fortement la quantité de données à transmettre et retire des détails tels que le décor, les vêtements ou les traits photoréalistes du visage. Selon le rapport d’impact publié avec le lancement, Google ne conserve ni les entrées ni les sorties, sauf autorisation explicite dans le cadre d’une étude d’évaluation.
Il serait néanmoins trompeur de décrire la fonction comme entièrement locale. L’extraction des mouvements a lieu sur l’appareil, mais la traduction est effectuée sur les serveurs de Google. Les coordonnées corporelles sont moins révélatrices qu’une vidéo complète ; elles restent les données nécessaires pour reconstituer une dynamique gestuelle. La protection repose donc à la fois sur la minimisation des données, la suppression rapide de la vidéo et la politique de non-conservation annoncée par l’entreprise.
La représentation géométrique a aussi des angles morts. Elle ne suit pas la langue, pourtant utilisée comme articulateur dans certaines constructions en ASL. Elle distingue mal un contact d’une main qui passe juste devant une autre, faute d’information complète sur la profondeur. Elle ignore enfin les objets du décor auxquels une personne pourrait faire référence.
Cent mille heures d’entraînement, mais pas un taux de réussite universel
Google indique avoir entraîné SL2T sur plus de 100 000 heures de données couvrant plus de 50 langues des signes, dont environ un quart en ASL. L’apprentissage conjoint doit permettre au modèle de réutiliser certaines structures visuelles et linguistiques partagées, tout en rencontrant davantage de morphologies, de dialectes, de niveaux de maîtrise et de façons de signer.
L’équipe a également simulé des situations pratiques. Elle a masqué les points d’un bras pendant l’entraînement afin que le système apprenne à comprendre une personne qui tient son téléphone d’une main et signe de l’autre. Des miroirs gauche-droite servent à équilibrer les données pour les personnes gauchères, qui représentent environ 10 % des signants selon Google.
Sur FLEURS-ASL, un jeu d’évaluation constitué avec des interprètes sourds certifiés, SL2T obtient un score BLEURT de 70 sans adaptation spécifique au test. Le score monte à 74 dans la variante enregistrée à une main. Sur un jeu de dactylologie filmé avec des smartphones, l’exactitude stricte atteint 64 %.
Des scores de benchmark, pas une précision universelle
Ces nombres ne sont pas des pourcentages de phrases correctement traduites dans toutes les situations. BLEURT mesure par modèle la proximité entre une traduction et une référence ; son résultat dépend du corpus, de la longueur des phrases et de la manière dont les exemples ont été enregistrés. L’exactitude de 64 % concerne une tâche particulière de lettres épelées. Aucun chiffre unique ne permet donc d’affirmer que SL2T serait « fiable à 70 % » dans la vie quotidienne.
Le précédent benchmark FLEURS-ASL avait d’ailleurs montré que des modèles multimodaux généralistes pourtant performants en image et en vidéo comprenaient très peu l’ASL. L’avancée vient autant de la spécialisation du modèle et du volume de données que d’un progrès général de la vision par ordinateur.
Les erreurs se cachent dans le visage, les nombres et le contexte
Le rapport d’impact cosigné par Google DeepMind et des représentants d’organisations de personnes sourdes est inhabituellement détaillé sur les faiblesses du système. Les évaluateurs signalent que SL2T reconnaît mieux les signes lexicaux que certaines structures grammaticales complètes. Il manque encore des marqueurs non manuels — sourcils, hochements, mouvements de tête — capables de transformer une affirmation en question ou d’en inverser le sens.
Les signes polysémiques posent un autre problème : un même mouvement manuel peut correspondre à « dimanche », « formidable » ou « merveilleux » selon le contexte. Les variantes régionales sont comprises de façon inégale. Les noms propres et acronymes épelés peuvent être développés au hasard par le décodeur lorsqu’il hésite.
Les tests préliminaires ont aussi révélé une distorsion persistante de certaines suites de chiffres : l’indicatif régional 207 du Maine pouvait devenir 2007. Google affirme avoir amélioré ce comportement avant la sortie, sans publier de taux d’erreur final par catégorie. Pour une adresse, un prix ou un numéro de téléphone, ce type de faute suffit pourtant à rendre une phrase inutilisable.
Le système peut encore produire du « texte fantôme » lorsqu’une personne cesse de signer, réfléchit ou lorsqu’un second visage entre dans le cadre. Il fonctionne moins bien dans la pénombre, à contre-jour, avec des ombres fortes ou si les mains sortent du champ. La chaîne visuelle ne suit qu’un sujet, généralement le plus grand à l’image, et ne gère pas une conversation entre plusieurs signants.
Enfin, chaque extrait est limité à 60 secondes et traité indépendamment. SL2T ne conserve pas encore l’historique des échanges précédents dans Live Transcribe. Ce manque de contexte n’est pas secondaire : une étude publiée à EMNLP a montré que, dans un échantillon de phrases ASL découpées, des personnes sourdes maîtrisant la langue avaient besoin du discours environnant pour comprendre des éléments essentiels dans 33 % des cas.
Le modèle n’a pas été validé pour les situations qui comptent le plus
Les fonctions livrées aujourd’hui sont limitées à l’ASL vers l’anglais et débutent sur Pixel 11, avec d’autres appareils annoncés plus tard. Elles n’ont pas été conçues ni validées pour les consultations médicales, les procédures judiciaires, les interrogatoires, les entretiens d’embauche, les décisions administratives, les examens ou l’enseignement en classe.
Le risque de remplacer à tort les interprètes
Cette frontière protège contre une dérive prévisible : une institution pourrait voir dans l’application un moyen moins coûteux d’éviter un interprète qualifié. Or SL2T ne traduit que dans un sens. Il ne peut ni demander une clarification ni restituer en langue des signes les propos de l’interlocuteur. Il ne possède pas la responsabilité professionnelle, le jugement éthique et la connaissance culturelle d’un interprète humain.
Le comité AISLAC classe d’ailleurs la substitution institutionnelle parmi les risques critiques. Son rapport affirme explicitement que la fonction ne satisfait pas les obligations d’aménagement raisonnable normalement remplies par des interprètes dans les contextes sensibles.
Les limites démographiques renforcent cette prudence. Le modèle n’a été ni entraîné ni formellement évalué sur des personnes de moins de 18 ans. Les mesures restent rares pour les personnes ayant des différences de membres ou de mouvement, tandis que les performances ne sont pas encore ventilées de manière complète selon l’âge, le genre, l’origine, la région ou des sociolectes comme le Black ASL.
Une avancée d’accessibilité se jugera langue par langue
SL2T change quelque chose de très concret : la langue des signes peut devenir une méthode de saisie native, au même titre que la voix ou le clavier. L’utilisateur ne demande pas à une machine de parler à sa place ; il choisit sa propre langue pour rechercher, écrire et commander un outil numérique. Cette autonomie explique mieux l’intérêt du lancement que la promesse trop large d’une traduction automatique universelle.
La méthode de développement compte presque autant que l’architecture. Des personnes sourdes ont participé à la collecte, aux études d’usage et à l’identification des risques. Le comité rassemble notamment la National Association of the Deaf, le Rochester Institute of Technology, le Deaf Professional Arts Network et la World Federation of the Deaf. Cette participation ne transforme pas un rapport coorganisé par Google en audit totalement indépendant, mais elle met sur la table des problèmes que les seuls benchmarks techniques laissent facilement de côté.
La prochaine épreuve sera l’élargissement. Google promet davantage d’appareils et de langues, ainsi qu’une meilleure prise en charge de la ponctuation, de l’historique et de plusieurs signants. Passer de l’ASL à la langue des signes française, britannique, kényane ou japonaise ne consistera pas à ajouter un dictionnaire : il faudra des corpus représentatifs, des évaluateurs issus de chaque communauté et des décisions locales sur les usages acceptables.
Le succès ne se mesurera donc pas seulement au nombre d’heures d’entraînement. Il dépendra du prix des appareils compatibles, de la transparence sur les erreurs, de la couverture des dialectes et de la capacité des institutions à traiter SL2T comme une option supplémentaire — jamais comme un prétexte pour retirer un interprète humain. Si cette discipline tient, l’IA aura ici une fonction rarement aussi lisible : adapter l’interface à la langue de l’utilisateur, plutôt que demander à l’utilisateur de s’adapter à la machine.
Références
- Google DeepMind, « Putting sign language AI into users’ hands », 12 août 2026.
- Google DeepMind et AISLAC, « Joint Impact Report for SL2T 1.0 », 12 août 2026.
- Garrett Tanzer, « FLEURS-ASL: Including American Sign Language in Massively Multilingual Multitask Evaluation », NAACL 2025.
- Garrett Tanzer, Maximus Shengelia, Ken Harrenstien et David Uthus, « Reconsidering Sentence-Level Sign Language Translation », EMNLP 2024.
- Jihwan Kim et al., « SignBLEU: Automatic Evaluation of Multi-channel Sign Language Translation », LREC-COLING 2024.
- Danielle Bragg et al., « Systemic Biases in Sign Language AI Research », Proceedings of the 11th Workshop on the Representation and Processing of Sign Languages, 2024.
