BNP Paribas met à disposition de ses métiers une plateforme de LLM-as-a-Service
Pour faciliter le développement et le déploiement de cas d’usage d’IA générative dans ses métiers et fonctions, BNP Paribas a conçu et déployé une plateforme interne de LLM-as-a-Service.
Cette offre technologique, opérée par les équipes IT du groupe, permet à chaque entité d’accéder, via une interface standardisée et sécurisée, à une sélection de modèles de langage (LLM) adaptés à ses besoins. Ces modèles peuvent être directement intégrés dans des outils ou processus.
La plateforme repose sur une infrastructure mutualisée hébergée dans les data centers du groupe, doté de capacités de GPU. Elle donne accès à une sélection de modèles open source, des modèles de Mistral AI, partenaire du groupe et, prochainement, des modèles entraînés sur des corpus internes, selon les besoins spécifiques.
Un socle technologique commun
Cette architecture permet au groupe de disposer d’une puissance de traitement élevée pour exécuter efficacement les modèles de langage, tout en mutualisant et limitant les coûts. Elle garantit un déploiement sécurisé au sein des infrastructures du groupe, dans le respect des exigences de confidentialité des données et renforce la cohérence des usages d’IA générative à l’échelle des métiers et des fonctions.
« Avec LLM-as-a-Service, nous créons un socle technologique commun qui permet aux entités de se concentrer sur les cas d’usage métier, tout en s’appuyant sur une infrastructure mutualisée et sécurisée, explique Marc Camus, Directeur des Systèmes d’Informations de BNP Paribas. C’est un levier commun pour innover et améliorer la performance de certains usages.»
Plusieurs cas d’usage d’IA générative sont déjà en production ou en expérimentation dans les métiers du groupe tels que les assistants internes, la génération de documents, ou encore la recherche d’information dans des corpus de documents.
La mise en place de la plateforme permet de passer à l’échelle, en facilitant le déploiement de ces cas d’usage dans un cadre commun et en accélérant la mise en œuvre de nouveaux projets. La plateforme renforce la capacité des métiers à intégrer rapidement l’IA générative dans leurs processus existants, avec des standards techniques et de sécurité partagée.
Premiers retours d’expérience
LLM-as-a-Service a été déployée dans une première phase de test dans différentes entités du groupe, comme Hello bank! ou l’inspection générale, et a vocation à être progressivement déployée à l’échelle du groupe selon une logique d’industrialisation. De plus, l’IA générative permet déjà aux développeurs de créer du code et d’accéder facilement et de manière centralisée aux outils de développement, aux technologies d’IA et aux chaînes DevOps.
Le service s’appuie sur les retours d’expérience des premières entités utilisatrices et vient compléter les initiatives déjà engagées autour de l’IA générative au sein de BNP Paribas. Ce déploiement progressif permet de prendre en compte les spécificités locales, tout en garantissant un haut niveau de sécurité, de conformité et d’efficacité opérationnelle.
