Moins de 20 % des décisions automatisées ont un responsable identifié

Dans le nouvel opus de son CIO Compass, Sopra Steria Next élargit le débat sur la souveraineté de l’IA. Elle ne se joue pas seulement sur la localisation des données et des modèles, mais aussi sur le contrôle des décisions qu’ils produisent. 

« Une nouvelle question qu’il faut désormais se poser, c’est celle des décisions déjà prises par une IA sans que personne n’en assume la responsabilité, pose Valérie Thiblet, Partner Data & AI, Sopra Steria Next. Un système qu’on ne sait pas arrêter en temps réel n’est pas gouverné : il est observé. Et ce qui ne peut pas être gouverné ne peut pas être industrialisé. »

Dans le nouvel opus de son CIO Compass, « Sans contrôle ni finalité, l’IA ne vaut rien », Sopra Steria Next, le cabinet de conseil de Sopra Steria, propose aux CIO un cadre d’analyse en 9 dimensions pour gouverner non plus seulement les données, mais aussi les décisions automatisées et leurs conséquences.

Moins de 20 % des décisions influencées ou exécutées par l’IA disposent d’un responsable métier identifié, de règles explicites et d’une responsabilité formalisée. Et moins de 25 % des décisions pilotées par l’IA en production peuvent être tracées et rejouées de bout en bout. Toujours selon le document, une défaillance de décision automatisée peut affecter 10 à 100 fois plus d’opérations, de clients ou de revenus qu’un incident IT classique, relève encore Sopra Steria Next.  

Plusieurs risques critiques

C’est un problème majeur et particulièrement grave pour la gouvernance, la performance et la conformité des entreprises. Qui met en lumière un « vide de responsabilité », lequel expose les organisations à plusieurs risques critiques. 

Notamment, des risques juridiques et de conformité. Avec l’entrée en vigueur de réglementations strictes comme l’AI Act en Europe, les entreprises ont l’obligation légale de documenter la traçabilité de leurs systèmes et de désigner des responsables. L’absence de référent métier expose l’entreprise à de lourdes sanctions financières. 

Tout aussi dommageable, une perte de contrôle ou l’effet « boîte noire ». Si aucun expert métier ne supervise l’IA, personne n’est en mesure de détecter une dérive des données -le fameux « data drift »- ou un biais algorithmique. L’IA peut alors prendre des décisions absurdes ou discriminatoires sans que l’entreprise ne s’en aperçoive à temps.

Enfin, une dilution des responsabilités en cas de crise. Si une IA commet une erreur stratégique (mauvaise évaluation d’un crédit, erreur de diagnostic, hallucination impactant un client), le manque de responsable identifié crée une confusion interne. L’équipe technique blâmera l’usage qui en est fait, tandis que les équipes terrain blâmeront la technologie.

La dépendance aux fournisseurs s’est déplacée de l’infrastructure vers la cognition

Les grandes organisations ont passé dix ans à gouverner leurs données. Elles n’ont pas, ou peu, pensé la gouvernance de la prise de décision. Or l’IA générative et agentique ne se contente plus de recommander : elle priorise, déclenche et exécute.

« L’IA ne se réduit pas à la question de savoir où sont hébergées les données et où s’exécutent les modèles. Elle recouvre aussi la capacité à démontrer, à tout moment, qui contrôle, explique et arbitre les décisions automatisées, continue Valérie Thiblet. La dépendance aux fournisseurs s’est déplacée de l’infrastructure vers la cognition. Et cette dépendance-là est plus difficile à renverser. »

Avec cette publication, Sopra Steria Next appelle les CIO à rendre explicite une « stack de souveraineté » à 5 niveaux, des données aux décisions en passant par les modèles, les plateformes et les API, avec une question par niveau : qui opère ? Qui peut remplacer ? Qui est responsable ?

Un cadre d’analyse en 9 dimensions

Le document identifie plusieurs points de rupture pour les directions IT : l’essor de la Shadow AI, qui érode la traçabilité et la maîtrise des coûts avant même que les dirigeants n’en aient connaissance ; la gouvernance des modèles, encore traitée comme une couche optionnelle ; et l’AI Act, dont le principal risque ne sera pas la non-conformité malveillante mais la non-conformité accidentelle, par manque de préparation.

Membre de l’AI PACT, Sopra Steria a appliqué la réglementation en avance de phase à ses propres activités et accompagne aujourd’hui plusieurs grands comptes européens, dans la banque et la logistique notamment, sur leurs programmes de conformité.

Avec cette publication, Sopra Steria Next propose via le CIO Compass un cadre d’analyse en 9 dimensions pour évaluer l’existant et bâtir une stratégie Data & AI et fait émerger un rôle appelé à s’imposer dans les organigrammes : le Chief Data & AI Officer, arbitre entre vitesse et contrôle, innovation et souveraineté, conformité et performance. Sa fonction n’est pas consensuelle. Elle existe pour rendre la responsabilité explicite.