Une meilleure rentabilité unitaire fait exploser le coût global de l’IA sans pour autant garantir une valeur proportionnelle et prévisible

L’IA agentique ne bénéficiera pas d’économies d’échelle, prévient Gartner. Le coût de l’inférence en IA varie considérablement selon le modèle et le niveau de réflexion et de planification requis par les systèmes d’IA agentique. C’est l’« Inference Paradox ». 

La baisse du prix des tokens ne suffira pas. Elle pourrait ne pas compenser la hausse des coûts d’inférence, à mesure que les flux de travail des agents se complexifient. Gartner prévoit que les coûts d’inférence de l’IA par flux de travail d’un agent seront multipliés par plus de cinq d’ici 2028, malgré l’amélioration continue des coûts sous-jacents à l’exécution des modèles d’IA.

Le cabinet a publié en début de semaine une nouvelle étude démontrant que la baisse du coût des jetons favorise l’utilisation de modèles plus performants… qui consomment davantage de tokens et font grimper les coûts d’inférence totaux !

A entendre William Sommer, Quantitative Modeling and Economic Forecasting Expert, Gartner, « chaque nouvelle génération de capacités d’IA nécessitera davantage de jetons, souvent plus chers. » Et d’estimer qu’aucun modèle unique, fiable et économique n’est en vue. « Développer des produits d’IA compétitifs exigera la mise en place et la maintenance d’écosystèmes multimodaux complexes. » 

Des charges de travail toujours plus sophistiquées

Il faut comprendre que les agents d’IA vont bien au-delà des simples interactions de type question-réponse, rappelle Gartner. Ils raisonnent de manière itérative sur les tâches, font appel à des outils, évaluent les résultats et décident des prochaines étapes. Ce qui va, inévitablement, coûter plus cher qu’une interaction avec un chatbot classique. Et pour cause : chaque étape de raisonnement et chaque appel d’outil supplémentaires augmentent la puissance de calcul nécessaire à l’exécution de la tâche. Gartner parle d’« Inference Paradox ».

Si le cabinet anticipe des améliorations dans les semi-conducteurs, l’infrastructure, la conception des modèles et l’utilisation des puces pour expliquer ces réductions, et si ces gains d’efficacité peuvent réduire le coût des tokens individuels, la prévision actuelle suggère que des charges de travail d’IA toujours plus sophistiquées pourraient absorber une grande partie de ces économies.

Maîtriser les coûts, absolument

Pour maîtriser les coûts, William Sommer recommande des approches d’optimisation telles que la hiérarchisation des inférences, qui consiste à acheminer les différentes parties d’un flux de travail vers des modèles en fonction de leurs capacités requises. « Les tâches les plus simples sont confiées à des modèles plus petits et moins coûteux, tandis que les tâches plus complexes sont réservées aux modèles plus onéreux. »

Ce type de maîtrise des coûts aura un impact sur le retour sur investissement, car les agents de raisonnement devront générer des rendements exponentiellement supérieurs à ceux des modèles de base, ce qui rehaussera les exigences pour les charges de travail capables de justifier les dépenses supplémentaires.