La tarification à la consommation pose des défis en matière de prévisibilité des coûts

Gartner prévoit que les coûts de développement de l’IA dépasseront le salaire moyen d’un développeur d’ici 2028, en raison de l’explosion de la consommation de tokens.

D’ici 2028, les coûts de développement de l’IA dépasseront le salaire moyen d’un développeur, en raison de la hausse de la consommation de tokens pour les modèles de langage complexes (LLM) et du passage à des modèles de licences basés sur la consommation.

Les tokens d’IA sont les unités de données traitées par les modèles d’IA génératifs, rappelle Gartner. La consommation de tokens a un impact direct sur le coût des outils de développement d’IA, notamment avec les structures de tarification basées sur la consommation.

« Les entreprises passent rapidement de l’expérimentation au déploiement à grande échelle d’agents de développement d’IA, mais beaucoup sous-estiment l’impact financier de l’augmentation de la consommation de tokens, constate Nitish Tyagi, Sr Perincipal Analyst, Gartner. La discipline en matière de jetons ne se développera pas par le seul choix des développeurs, car ces derniers ont tendance à privilégier la rapidité et la facilité d’utilisation au détriment de la rentabilité. Sans un modèle opérationnel d’ingénierie encadré, les coûts peuvent exploser plus vite que les gains de productivité que ces outils sont censés apporter. »

Un vrai défi en termes de prévisibilité

Le passage d’une licence par utilisateur à une tarification à la consommation chez les fournisseurs d’agents de codage IA introduit des structures de coûts très variables pour les charges de travail d’ingénierie logicielle. De nombreux fournisseurs manquent de transparence quant au calcul et à la facturation de la consommation de jetons, ce qui limite la capacité des entreprises à prévoir et à maîtriser leurs coûts avec précision.

Sans une visibilité claire sur l’utilisation des jetons pour les différentes tâches de développement, les organisations risquent des dépassements budgétaires et une capacité réduite à suivre le rapport coût-efficacité.

« La plupart des organisations n’ont toujours pas la maturité ni les cadres nécessaires pour mesurer efficacement le rapport coût-impact sur l’activité, continue Nitish Tyagi. Les responsables de l’ingénierie logicielle sont de plus en plus inquiets ; les budgets sont souvent épuisés plus tôt que prévu… »

Les modes d’utilisation et les lacunes de gouvernance accentuent la pression sur les coûts

Au-delà des difficultés liées à la tarification et à la visibilité, l’utilisation des agents de codage IA au sein des organisations contribue également à la hausse des coûts. Le dépassement des dépenses en tokens est souvent lié à la manière dont les responsables de l’ingénierie logicielle gèrent leur utilisation. Parmi les problèmes courants, on note l’autonomie non contrôlée des flux de travail pilotés par agents, des fenêtres de contexte trop longues et l’absence de mécanismes de retour d’information structurés pour optimiser l’utilisation.

De plus, les fournisseurs de solutions de codage IA n’ont pas encore intégré de fonctionnalités d’optimisation des coûts matures dans leurs agents, ce qui contribue à l’augmentation des coûts.

« A ces coûts, il convient d’ajouter ceux qui résultent des utilisateurs réguliers, qui consomment toujours plus d’IA, observe Nitish Tyagi. Il s’agit donc de mettre en œuvre un modèle opérationnel rigoureux pour l’utilisation de l’IA. »

Un cadre de décision s’impose

Pour Gartner, les organisations doivent définir clairement quand utiliser des agents de codage IA et déterminer le niveau d’autonomie approprié pour chaque tâche. Cela implique de classer les tâches de développement en trois modèles d’exécution : piloté par le développeur, avec l’aide d’un agent et entièrement piloté par l’agent.

L’idée est d’orienter les tâches simples et fréquentes vers des modèles plus petits, tout en réservant les modèles de pointe aux travaux de développement complexes et à forte valeur ajoutée.

Ce qui revient, aussi, à imposer des pratiques d’ingénierie du contexte : les développeurs doivent être formés à optimiser le contexte d’entrée fourni aux systèmes d’IA en n’incluant que les informations pertinentes, en résumant le contenu lorsque cela est possible et en éliminant les données inutiles afin de réduire la consommation de tokens sans compromettre la qualité du résultat.

Tout ceci revient à mettre en place une gouvernance et un contrôle des coûts : les organisations doivent instaurer des mécanismes tels que des seuils de tokens, des politiques d’escalade et une surveillance automatisée pour gérer leur utilisation.

Enfin, intégrer des revues d’utilisation des tokens dans les cycles de développement : les responsables doivent imposer des revues régulières des flux de travail à forte consommation de tokens dans le cadre des rétrospectives de sprint afin d’identifier les inefficacités, d’améliorer les pratiques et de favoriser le partage des connaissances entre les équipes d’ingénierie.