Un essai plutôt qu’un livre. Dario Amodei, cofondateur et CEO d’Anthropic, avertit à nouveau

L’essai de 20 000 mots de Dario Amodei, « The Adolescence of Technology », dresse une carte des risques civilisationnels de l’IA. Une « mise à l’épreuve » pour l’humanité. Pas moins.

L’IA est sur le point de « mettre à l’épreuve notre identité en tant qu’espèce » et « l’humanité est sur le point de se voir confier un pouvoir quasi inimaginable ». Un constat et un avertissement. Pour Dario Amodei, « il est extrêmement difficile de savoir si nos systèmes sociaux, politiques et technologiques possèdent la maturité nécessaire pour l’exercer ».

Voilà quelques années que le cofondateur d’Anthropic s’inquiète des risques catastrophiques liés à l’IA. Il a mis en garde contre les risques que l’IA contribue au développement d’armes biologiques ou chimiques. Il a mis en garde contre le risque qu’une IA puissante échappe au contrôle humain. Il a mis en garde, encore, contre les pertes d’emplois massives potentielles à mesure que l’IA gagne en puissance et se généralise dans les secteurs d’activité. Enfin, il a mis en garde contre les dangers de la concentration du pouvoir et des richesses avec l’essor de l’IA.

La question n’est plus technique, mais morale

Aujourd’hui, Dario Amodei réitère toutes ces inquiétudes, parfois dans un langage plus direct et parfois avec des échéances plus courtes quant à la concrétisation de ces risques. L’essai se lit comme une évaluation des menaces.

« Nous avons créé des machines capables de poursuivre des objectifs définis sans supervision humaine continue. À partir de là, la question n’est plus technique, mais morale. » L’outil devient altérité, et le créateur se retrouve face à une entité dont les trajectoires ne sont plus entièrement prédictibles.

Dario Amodei mobilise la métaphore de l’adolescence pour décrire cette phase critique. « La question n’est pas de savoir si la technologie deviendra adulte, mais si nous survivrons à son adolescence », écrit-il. Cette image traduit une fragilité systémique des sociétés face à des systèmes qu’elles ne savent pas encore gouverner. Les institutions politiques, juridiques et culturelles, ne l’oublions pas, restent calibrées pour gérer des outils, pas des entités adaptatives.

Responsabilité étendue

On ne peut plus se limiter à concevoir et livrer un système. A travers nos usages, nous devenons comptables de ses émergences, de ses détournements et de ses effets différés. Comme l’écrit Dario Amodei, « la responsabilité ne s’arrête pas à l’intention initiale. Elle inclut ce que le système devient. » Nous entrons dans une forme de parentalité technique.

Créer implique désormais d’accompagner, de surveiller et de corriger dans la durée. Les récits fondateurs, de Prométhée à Frankenstein, rappellent tous la même leçon : la catastrophe survient lorsque le créateur abandonne sa créature.