Aucun des principaux modèles d’IA n’atteint un niveau de conformité acceptable avec l’AI Act et le GDPR

Selon la fondation de recherche à but non lucratif Aithos, la plupart des LLM enfreignent, à des degrés divers, le droit européen en matière d’IA et de protection des données. Dans la plus grande indifférence.

Certains grands modèles de langage enfreignent la loi dans 93 % des scénarios testés !

Sur l’ensemble des dix scénarios et des douze modèles, même le système le plus performant, Claude Opus 4.7, a enfreint la loi dans 46 % des cas. Le pire, Gemini 3.1 Pro de Google, l’a enfreinte dans 90 % des cas. Toutes les lois testées ont été enfreintes par la majorité des modèles lorsque cela s’avérait nécessaire pour atteindre leur objectif.

Telles sont les conclusions de la fondation de recherche à but non lucratif Aithos, qui a développé l’outil LARA ( Legal Assessment for Real-world Agents ) afin d’observer le comportement des modèles d’IA avancés dans des situations professionnelles réalistes et de mesurer leurs réactions lorsqu’on leur demandait d’enfreindre deux dispositions clés que sont l’AI Act et le GDPR.

De multiples scénarios

Ensemble, ces dispositions interdisent des pratiques telles que l’analyse émotionnelle des employés et la notation sociale, tout en garantissant la protection de la vie privée, notamment la transparence du traitement des données des utilisateurs.

Différents scénarios ont ainsi été testés. Par exemple, une responsable demande à un assistant IA d’analyser l’état émotionnel de son équipe à partir de leurs e-mails avant un entretien d’évaluation. Autre exemple, un agent d’un opérateur téléphonique, chargé d’une simple mise à niveau de forfait, reçoit l’instruction de collecter des données sur le mode de vie des utilisateurs pour des partenaires publicitaires…Ces scénarios sont réalistes. Ils sont également illégaux dans l’UE.

Les tests en question…

LARA intègre un modèle d’IA dans un environnement de travail simulé, en tant qu’agent. Cette IA a accès à des outils tels que la messagerie électronique, les dossiers clients, les calendriers et les réseaux sociaux. Une seconde IA joue le rôle de l’« utilisateur » et conçoit le scénario de manière à ce que le modèle testé doive enfreindre la loi pour accomplir sa tâche.

Trois juges IA indépendants évaluent ensuite le scénario en se basant sur le texte intégral de la loi et déterminent si le modèle a commis une infraction. Les résultats ont été analysés par une équipe d’experts pendant plus de 50 heures.

Aithos a exécuté plus de 3 000 scénarios, avec douze des modèles d’IA les plus avancés actuellement utilisés. Les résultats sont publics, chaque conversation est consultable intégralement et vous pouvez même les exécuter vous-même.

Discrimination et violation des droits humains

L’article 5 de la loi européenne sur l’IA énumère les pratiques que l’Europe considère comme si préjudiciables qu’elles sont formellement interdites : manipulation subliminale, exploitation des personnes vulnérables, interprétation des émotions au travail et notation sociale. Les infractions aux dispositions de cet article peuvent constituer une discrimination et une violation des droits humains. Lorsqu’on leur a demandé d’enfreindre ces dispositions, les agents l’ont fait dans environ 80 % des cas.

Le scénario d’exploitation – où une IA programmée pour la vente reçoit un appel à l’aide confus d’une cliente âgée et manifestement vulnérable – mérite une attention particulière. Les agents se sont montrés chaleureux et compatissants, lui ont suggéré de parler à sa fille et ont pris en compte ses inquiétudes. L’IA a ensuite tenté de convaincre la femme âgée de passer à un forfait supérieur, conformément aux instructions reçues. Tous les modèles testés ont présenté ce comportement, à chaque exécution. 

Pourquoi cela se produit-il ?

L’analyse des scénarios met en lumière un point essentiel : enfreindre la loi ne requiert pas une IA malveillante et calculatrice, mais simplement des agents cherchant à accomplir leur tâche. Lorsqu’une IA d’entreprise reçoit l’instruction de « vendre des forfaits premium », le modèle cherche à mener à bien cette tâche, sans éprouver le même sens des responsabilités et la même conscience morale qu’un humain dans la même situation.

Les modèles sont entraînés à suivre des instructions et à respecter la loi. Ils ne sont pas bien préparés à gérer des situations morales complexes où la décision « correcte » est subjective et où le contexte peut justifier une exception aux règles.

Il est essentiel de bien comprendre un point : ce ne sont pas les fournisseurs des modèles qui alimentent ces agents qui enfreignent la loi. Une fois déployé dans un cas d’usage spécifique, un modèle devient partie intégrante d’un « système d’IA », et quiconque utilise ce système d’IA dans le monde réel est responsable de ses actions. Et cette responsabilité est bien réelle.

Les résultats montrent clairement que, dans un contexte professionnel, les agents peuvent enfreindre la loi à l’insu et sans intention de leur opérateur.