Olala mini, le LLM d’OVHcloud qui choisit ses experts

Un chariot bleu marqué Olala mini 7A1B s’engage sur une branche d’un aiguillage miniature.

Sept milliards de paramètres dans le modèle, environ un milliard sollicité à chaque étape du calcul. Avec Olala mini 7A1B, dévoilé le 17 novembre 2026, OVHcloud inaugure sa première famille de grands modèles de langage. L’hébergeur de Roubaix veut que son modèle puisse répondre sur des machines plus modestes qu’un serveur d’IA haut de gamme. Son premier cas d’usage public est déjà identifié. Selon OVHcloud, le moteur de recherche Qwant l’utilise pour ses réponses Flash. Annonce d’OVHcloud

Sept milliards de paramètres, un milliard au travail

Les paramètres sont les valeurs numériques apprises pendant l’entraînement. Olala mini les répartit en partie dans des blocs de calcul appelés experts. Dans cette famille d’architectures, dite mixture of experts ou MoE, un mécanisme d’aiguillage sélectionne les blocs à mobiliser au fil du traitement des tokens, les fragments de texte manipulés par le modèle. Les « 7 » et « 1 » de 7A1B donnent deux ordres de grandeur distincts, celui du modèle complet et celui des paramètres actifs. Cette organisation vise à économiser du calcul à chaque étape. Principe du routage par experts · Architecture annoncée par OVHcloud

Pour traiter le texte déjà reçu, OVHcloud associe deux approches, Differential-TPA et Mamba-3. La fenêtre de contexte annoncée atteint 32 000 tokens. C’est la quantité de texte que le modèle peut prendre en compte dans un même échange. La version 1.1, attendue d’ici à la fin de 2026 selon l’entreprise, doit porter cette capacité à 128 000 tokens. Caractéristiques et feuille de route

Les 8 Go de mémoire à l’épreuve du matériel réel

OVHcloud annonce qu’Olala mini peut tourner avec une carte graphique de 8 Go. Le groupe donne aussi un débit de 160 tokens par seconde sur une RTX A4500, une carte de bureau équipée de 20 Go selon Nvidia, et de 50 tokens par seconde sur un processeur classique, dont la référence n’est pas précisée dans le communiqué. Ces chiffres correspondent à des configurations différentes. Chiffres communiqués par OVHcloud · Fiche technique de la RTX A4500

L’aiguillage réduit le nombre de paramètres sollicités à la fois, tandis que chaque expert doit rester accessible lorsqu’il est sélectionné. En BF16, une représentation à 16 bits, sept milliards de poids occupent environ 14 Go à eux seuls si on les stocke tous sous ce format. Pour reproduire le fonctionnement annoncé avec 8 Go de mémoire graphique, il faudra connaître la précision des poids effectivement chargés et la part de mémoire utilisée ailleurs dans la machine, le cas échéant.

Qwant donne au modèle un premier terrain d’essai

Une réponse Flash est un résumé affiché au-dessus de certains résultats de recherche et accompagné de liens vers ses sources. OVHcloud indique qu’avec Olala mini, ces réponses sont 20 % plus rapides et que les coûts de fonctionnement ont été divisés par trois par rapport au modèle précédent. Pour un moteur de recherche, ce type de gain peut compter à chaque requête. Le communiqué laisse ouvertes l’identité du modèle comparé, les conditions de mesure et la qualité des réponses obtenues. Présentation de la réponse Flash par Qwant · Comparaison communiquée par OVHcloud

Le calcul européen a servi à l’entraînement

OVHcloud dit avoir entraîné Olala mini à partir de zéro, en utilisant trois supercalculateurs publics européens. JUPITER se trouve en Allemagne, MeluXina au Luxembourg et Jean Zay en France. Le groupe valorise le soutien reçu à l’équivalent de 7 millions d’euros en heures de calcul. Pour un fournisseur qui proposait déjà des modèles développés ailleurs via son service AI Endpoints, Olala ouvre la possibilité d’adapter la conception d’un modèle à ses propres contraintes de déploiement. Parc de calcul EuroHPC · Jean Zay chez GENCI · Historique IA d’OVHcloud

Ce que le lancement du 19 novembre devra préciser

Le lancement officiel est prévu à l’OVHcloud AI Summit du 19 novembre, à Paris. OVHcloud annonce une distribution sous licence Apache 2.0 sur Hugging Face, avec les poids, le modèle de base préentraîné, un rapport technique et de la documentation relative à l’AI Act. Lors de notre vérification du 18 novembre, aucun dépôt public officiel d’Olala mini n’apparaissait dans le catalogue de Hugging Face. Annonce de publication · Profil Hugging Face d’OVHcloud · Calendrier du sommet

Pour un moteur de recherche, l’intérêt du modèle se mesure à la fidélité des résumés à leurs sources, au temps d’attente du lecteur et au coût de chaque réponse. Une fois les poids publiés, il sera possible de mettre le pari d’Olala mini à l’épreuve en observant comment ces trois mesures évoluent lorsqu’on passe d’un serveur à une machine plus modeste.

Références

About Salah YAHIAOUI

Salah YAHIAOUI publie sur The Pingouin des tutoriels Python et des décryptages sur l’intelligence artificielle. Les cas pratiques récents précisent leurs données, leurs tests et leurs limites. À propos, méthode éditoriale et contact.

View all posts by Salah YAHIAOUI →

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. Découvrez comment les données de vos commentaires sont traitées.