Bâti sur une architecture inédite, Olala mini 7A1B apporte la preuve de la capacité des entreprises européennes à innover et entrainer des modèles LLM agentiques from scratch
Un nouveau nom européen dans la course à l’intelligence artificielle : OVHcloud avance Olala mini, sa première famille de LLM. Disposant en propre de l’infrastructure pour porter cette activité, le français compte « jouer son rôle » selon Octave Klaba.
Une surprise ? Non, « une évolution naturelle », selon le fondateur d’OVHcloud, Octave Klaba. Olala mini repose sur une architecture de 7 milliards de paramètres (7B) avec 1 milliard activés répartis entre 256 experts par couche, l’attention hybride avec Differential-TPA et Mamba-3, au format BF16.
Seule une fraction du modèle est sollicitée à chaque requête, ce qui le rend plus rapide et moins gourmand en mémoire. Conséquence directe : le modèle fonctionne sur un GPU doté d’un minimum de 8 Go de mémoire, il atteint 160 tokens par seconde sur une RTX A4500, et même sans GPU, sur un simple processeur, à 50 tokens par seconde. Sa fenêtre de contexte atteint aujourd’hui 32 000 tokens. Olala mini sera disponible ce jeudi 19 novembre en open source sur Hugging Face, sous licence Apache 2.0.
Entraîné avec l’aide publique européenne et en fonctionnement chez Qwant
Olala mini a été entraîné sur trois supercalculateurs publics européens, Jupiter, MeluXina et Jean Zay, équipés de GPU GH200, A100 et H100. Ce soutien, qui représente l’équivalent de 7 millions EUR en heures de calcul, a été déterminant.
L’initiative publique s’est révélée un succès à plus d’un titre : elle a fait émerger une équipe d’exception en IA et a donné naissance au Lab Agentique d’OVH, OVHai LLM. Olala mini est publié avec ses poids, son modèle de base pré-entraîné, son rapport technique et sa documentation de conformité à l’AI Act. Qwant l’a déjà adopté pour sa fonctionnalité de réponse flash, avec des gains significatifs : des réponses 20 % plus rapides et des coûts de fonctionnement divisés par trois par rapport au modèle précédemment utilisé.
En route vers la v1.1, puis la v2.0
Attendue d’ici la fin de l’année, la version 1.1 portera la fenêtre de contexte à 128 000 tokens et améliorera ses performances en raisonnement mathématique. Avec la version 2.0, OVHai LLM entend développer des modèles spécialisés dans trois domaines. D’abord, l’agentique pour les entreprises. A terme, Olala alimentera OVHai Workspace, dont la version chiffrée nécessitera des modèles capables de tourner en local, directement sur le poste de travail. Ensuite, le DevOps cloud, avec des déclinaisons adaptées aux développeurs, aux architectes et aux équipes d’exploitation qui assurent la continuité de service 24h/24. Enfin, la cybersécurité, dans ses volets défensifs comme offensif. Olala v2.0 dépassera les 100 milliards de paramètres.
L’entreprise vise 100 millions d’utilisateurs, sans toutefois préciser à quelle échéance. Olala devra donc trouver sa place au sein d’un paysage dominé par les géants américains, talonnés par maintes entreprises chinoises proposant des IA ouvertes, performantes et à bas coût.
« Nous ne partons pas de zéro. Nous avons une base de clients, avec une marque forte, précise Octave Klaba. L’IA est stratégique pour nous. En plus de proposer des services d’IA pour nos clients, nous devons être capables de créer les modèles pour nos besoins internes et ceux de nos clients. On ne peut pas juste compter sur la générosité de certains Labs à partager leurs modèles LLM en open source dans les années à venir. Le savoir-faire dans l’entraînement de modèles s’est largement démocratisé et le coût d’un entraînement a été divisé par 20 en 3 ans. Désormais, il est possible de créer les modèles LLM tout en rendant cette activité rentable. »
Le groupe a déjà réalisé trois acquisitions cette année pour muscler ses capacités : Seald, spécialiste du chiffrement, Dragon LLM, concepteur de modèles d’IA spécialisés pour les secteurs réglementés, et Gladia, qui développe de l’IA vocale.

