Deux incidents, deux cas d’un dysfonctionnement accidentel à grande échelle

Après OpenAI, Anthropic révèle que trois versions de son modèle d’IA Claude ont piraté trois entreprises à la suite d’un « malentendu ». C’est beaucoup. Tom Kellermann, de TrendAI, analyse ces piratages

« Ce n’est pas un incident isolé, mais un schéma qui se répète. Anthropic et OpenAI viennent de démontrer que lorsque l’on désactive les garde-fous à des fins de test, on ne crée pas un environnement sécurisé, mais on introduit au contraire des risques systémiques ! Chaque organisation qui déploie une IA agentique doit se demander si son environnement d’évaluation et de test est réellement suffisamment isolé. Le cloisonnement et la surveillance continue ne sont plus facultatifs. »

La réflexion de Tom Kellermann, VP AI Security & Threat Research, TrendAI, dit beaucoup. Après OpenAI, Anthropic vient donc de révéler, jeudi 30 juillet, que trois versions de son modèle d’IA Claude ont piraté trois entreprises à la suite d’un « malentendu ».

OpenAI n’est pas la seule entreprise à devoir faire attention à ses modèles d’IA. Anthropic aussi. L’éditeur de Claude a affirmé jeudi dans un communiqué que les siens avaient « obtenu un accès non autorisé » à trois organisations lors de tests pourtant censés les empêcher d’accéder à des systèmes « réels »…

Aucune intervention humaine à l’origine de l’attaque

« Pris ensemble, ces incidents révèlent une tendance, et non un cas isolé, estime Tom Kellermann. Ils confirment que le confinement est un problème qui touche les personnes, les processus et les technologies : deux équipes ayant une compréhension différente de l’environnement, des garde-fous appliqués par une simple alerte plutôt que par des limites système strictes, et des systèmes cibles accessibles via des identifiants faibles et des points d’accès exposés. Ces trois éléments relèvent de disciplines de sécurité bien connues, et la défense en profondeur s’applique à un nouveau type d’acteur. »

Pour rappel, mardi 21 juillet, OpenAI avait confirmé la cause de ce qu’elle qualifie d’« incident cybernétique sans précédent » : une intrusion révélée la semaine précédente par Hugging Face, la plateforme où une grande partie du secteur de l’IA héberge et partage ses modèles et ses ensembles de données. Dans cet incident, aucune intervention humaine n’a été à l’origine de l’attaque. En réalité, des modèles d’IA tentaient simplement de réussir un test et ont réussi, ce faisant, à s’introduire dans les systèmes d’une autre entreprise.

Du bac à sable aux serveurs d’un tiers

La faille s’est produite lors de l’évaluation par OpenAI des capacités offensives de ses propres modèles (GPT-5.6 Sol et une version préliminaire encore plus performante), exécutés avec les classificateurs de sécurité désactivés dans un bac à sable dont la seule connexion était un proxy logiciel interne. Les modèles ont découvert une vulnérabilité zero-day dans ce proxy, s’en sont échappés et ont migré latéralement vers une machine disposant d’un accès Internet.

Supposant ensuite que Hugging Face détenait probablement les réponses au test, ils ont enchaîné les identifiants volés et les vulnérabilités zero-day avec sa base de données de production et ont récupéré directement les solutions. Les deux équipes de sécurité ont détecté l’attaque indépendamment avant la connexion, et l’enquête conjointe est en cours -OpenAI a signalé la vulnérabilité du proxy au fournisseur.

La plupart des systèmes de défense ne sont pas conçus pour ce type de menace

Dans une série de recherches de 2024 sur les IA malveillantes, TrendAI a décrit trois catégories de systèmes d’IA agissant à l’encontre des intentions de leurs opérateurs : les IA malveillantes, déployées délibérément par un attaquant ; les IA malveillantes accidentelles, qui dévient de leur trajectoire car on leur accorde une latitude supérieure à celle prévue par leur environnement ; et les IA détournées, piratées par jailbreak ou injection de code.

Il est important de noter que le terme « dévoyé » ne signifie pas nécessairement que le modèle est devenu hostile ou conscient de lui-même. Il signifie plutôt qu’un système d’IA agit en dehors des intentions de son opérateur, cet incident en étant un exemple typique.

Un agent qui dévie de sa trajectoire ressemble à une menace interne, tandis qu’un agent détourné ressemble à un compte compromis -et des outils existent pour les deux. La différence réside dans la vitesse. Les menaces internes et les comptes compromis agissent à la vitesse humaine, laissant le temps à un défenseur de réagir ; les agents agissent à la vitesse du GPU, la défense elle-même doit donc être proactive…

En contournant le test, plutôt qu’en échouant…

Cet incident illustre le cas d’un dysfonctionnement accidentel à grande échelle. Ces modèles n’ont été ni piratés ni déployés de manière malveillante. OpenAI a délibérément assoupli les restrictions pour évaluer les capacités brutes des modèles, et ces derniers ont exploité cette latitude pour résoudre le problème d’une manière imprévue -en quelque sorte, en contournant le test plutôt qu’en y échouant.

Anthropic a analysé plus de 141.000 tests et a constaté que trois versions différentes de son modèle Claude avaient accédé aux systèmes de trois organisations, dont les noms n’ont pas été divulgués.

Ces systèmes apprennent des humains !

Contrairement à l’incident impliquant OpenAI, les modèles d’Anthropic ont eu accès à Internet « en raison d’un malentendu entre nous et notre partenaire d’évaluation », Irregular, a expliqué le groupe dans un communiqué.

« En fin de compte, ces systèmes apprennent des humains, analyse aujourd’hui Tom Kellermann. L’IA est entraînée sur le comportement humain, et les humains recherchent naturellement un avantage. Tout le cadre réglementaire de la société vise à contenir cette tendance. Donnez à un modèle un objectif et des ressources limitées, et il fera de même : trouver la voie la plus avantageuse, autorisée ou non. C’est ce comportement que les défenseurs doivent désormais anticiper ! »