BNP Paribas voorziet zijn business lines van een LLM-as-a-Service platform

Om de ontwikkeling en implementatie van generatieve AI-gebruiksgevallen in zijn businesses en functies te vergemakkelijken, heeft BNP Paribas een intern LLM-as-a-Service-platform ontworpen en geïmplementeerd.

Dit technologische aanbod, dat wordt beheerd door de IT-teams van de groep, geeft elke entiteit via een gestandaardiseerde en beveiligde interface toegang tot een selectie taalmodellen (LLM’s) die zijn afgestemd op de behoeften. Deze modellen kunnen rechtstreeks worden geïntegreerd in tools of processen.

Het platform is gebaseerd op een gedeelde infrastructuur die gehost wordt in de datacenters van de Groep, met GPU-capaciteit. Het biedt toegang tot een selectie van open source modellen, modellen van Mistral AI, een van de partners van de Groep, en, in de nabije toekomst, modellen getraind op interne corpora, afhankelijk van specifieke behoeften.

Een gemeenschappelijke technologische basis

Deze architectuur biedt de Groep een hoog niveau van verwerkingskracht om taalmodellen efficiënt uit te voeren, terwijl de kosten worden gebundeld en beperkt. Het garandeert een veilige inzet binnen de infrastructuren van de Groep, met inachtneming van de vereisten voor vertrouwelijkheid van gegevens, en versterkt de consistentie van generatieve AI-toepassingen binnen verschillende bedrijfsonderdelen en functies.

Met LLM-as-a-Service creëren we een gemeenschappelijke technologische basis die entiteiten in staat stelt zich te concentreren op hun zakelijke use cases, terwijl ze vertrouwen op een gedeelde en veilige infrastructuur”, legt Marc Camus, Hoofd Informatiesystemen bij BNP Paribas, uit. Het is een gemeenschappelijke hefboom om te innoveren en de prestaties van bepaalde toepassingen te verbeteren.”

Een aantal generatieve AI-gebruikscases zijn al in productie of worden getest in de businesses van de Groep, zoals interne assistenten, het genereren van documenten en het zoeken naar informatie in documentverzamelingen.

Het opzetten van het platform zal ons in staat stellen om op schaal te gaan, door de inzet van deze use cases binnen een gemeenschappelijk kader te vergemakkelijken en de implementatie van nieuwe projecten te versnellen. Het platform versterkt het vermogen van business units om generatieve AI snel te integreren in hun bestaande processen, met behulp van gedeelde technische en beveiligingsstandaarden.

Eerste feedback

LLM-as-a-Service is in een eerste testfase geïmplementeerd in verschillende entiteiten van de Groep, zoals Hello bank en de Inspectie-generaal, en het is de bedoeling dat het geleidelijk wordt uitgerold in de hele Groep op basis van industrialisatie. Daarnaast stelt Generative AI ontwikkelaars nu al in staat om code te creëren en eenvoudig en centraal toegang te krijgen tot ontwikkeltools, AI-technologieën en DevOps-ketens.

De dienst is gebaseerd op feedback van de eerste gebruikersentiteiten en vormt een aanvulling op de reeds lopende initiatieven rond generative AI binnen BNP Paribas. Deze geleidelijke uitrol maakt het mogelijk om rekening te houden met lokale bijzonderheden en tegelijkertijd een hoog niveau van beveiliging, compliance en operationele efficiëntie te garanderen.