Deze kwestie reikt verder dan de huidige FinOps-modellen. En we kunnen dit niet onopgelost laten

Het aantal stappen beperken, tokens bijhouden, doorvoersnelheden beperken… Nu agentgebaseerde AI steeds meer voet aan de grond krijgt, is het zaak om grenzen te stellen en het verbruik van tokens in de gaten te houden. Doel: de kosten binnen de perken houden. Een nieuwe vorm van governance die verder gaat dan traditionele FinOps.

„We kunnen ChatGPT niet langer blijven gebruiken zonder rekening te houden met de kosten van elke verzoek!“ Deze interne boodschap wordt onlangs toegeschreven aan Microsoft. Ze had echter van elk willekeurig bedrijf afkomstig kunnen zijn.

Agentgebaseerde AI wordt een bron van spanningen: organisaties moedigen hun medewerkers aan om steeds krachtigere programmeeragenten en AI-assistenten te gebruiken, maar de daaruit voortvloeiende werklast kan leiden tot aanzienlijke en soms onvoorspelbare IT-kosten.

„Iemand moet al die verzoeken toch financieren! Terwijl bedrijven zich haasten om agent-AI in te voeren, ontdekken ze dat de kostendynamiek zowel complex als soms verrassend duur is. Hoewel de kosten van individuele tokens blijven dalen, schieten de uitgaven van bedrijven aan AI de hoogte in”, constateert McKinsey.

Een onafhankelijkheid die veel kost

In tegenstelling tot traditionele AI-toepassingen die op ad-hocverzoeken reageren, streven agentgebaseerde AI-systemen zelfstandig hun doelen na: ze roepen API’s aan, creëren subtaken en voeren complexe workflows uit zonder bij elke stap op menselijke goedkeuring te wachten.

Dit onderscheid is cruciaal, omdat agentieke AI op een fundamenteel andere manier kosten genereert dan toegewezen cloudresources. Een virtuele machine werkt tegen een voorspelbaar uurtarief. Een AI-agent daarentegen kan tientallen LLM-aanroepen, vector-databasequery’s en aanroepen van externe tools in gang zetten om aan een eenvoudige gebruikersaanvraag te voldoen. Dit leidt tot dynamische uitgaven, die worden aangestuurd door het gedrag van de en die zich snel en onvoorspelbaar opstapelen: sommige bedrijven hebben hun jaarlijkse AI-budget al binnen enkele maanden na de implementatie opgebruikt.

Terug naar de realiteit van de cijfers… en dus van de uitgaven

In het begin was AI vergelijkbaar met de goudkoorts in Oklahoma in de 19e eeuw: alles grijpen wat je kon, zoveel mogelijk. Het verbruik van tokens werd toen beschouwd als een indicator voor acceptatie, terwijl ontwikkelaars werden aangemoedigd om AI in zoveel mogelijk processen te integreren. Dat is vandaag de dag niet meer het geval.

Bij gebrek aan precieze cijfers is de trend er een van beperking. Of, zoals bij Microsoft, van heroriëntatie: de interne ontwikkeling van AI concentreren rond de eigen producten. In mei bleek dat de softwareproducent erop afstevende om het grootste deel van het interne gebruik van Claude Code van Anthropic af te schaffen ten gunste van de opdrachtregelinterface GitHub Copilot. Deze strategie geeft Microsoft meer controle over de AI-tools die door zijn ingenieurs worden gebruikt, terwijl het bedrijf tegelijkertijd de infrastructuur- en licentiekosten mogelijk beter kan beheren.

Verder dan de traditionele FinOps-praktijken

Het geval van Microsoft is specifiek. De kwestie van de kosten is van belang voor alle organisaties, groot of klein. „Agent-gebaseerde AI-systemen wachten niet op uw toestemming om uw geld uit te geven”, merkt Finout op, een Israëlische start-up die gespecialiseerd is in governance. „Ze roepen API’s aan, creëren subtaken en voeren zelfstandig complexe workflows uit… en uw factuur weerspiegelt elk van hun beslissingen!”

Het is duidelijk dat traditionele FinOps-praktijken hier niet op zijn afgestemd: Gartner voorspelt dat meer dan 40 % van de agentieke AI-projecten tegen 2027 zal worden geannuleerd als gevolg van explosief stijgende kosten en ontoereikende controles.

In de cloud gaat men ervan uit dat de kosten kunnen worden voorspeld op basis van de toegewezen capaciteit: men maakt instances aan, stelt budgetten vast en houdt het gebruik in de gaten. Bij agentieke AI ligt dat anders.

Van de ene verzoek naar de andere

Het grootste probleem ligt in de autonome besluitvorming. Agenten kiezen zelf wanneer en hoe vaak ze externe modellen of API’s aanroepen, afhankelijk van de complexiteit van de taak, en niet volgens vooraf vastgestelde schema’s. Een zoekagent kan drie API-aanroepen doen voor een eenvoudige zoekopdracht… of driehonderd voor een complexe zoekopdracht!

Ook de schaalbaarheid verloopt niet lineair. Een verzoek van een gebruiker kan uitmonden in meerdere acties van agents, die elk hun eigen kosten met zich meebrengen. In tegenstelling tot een virtuele machine met een vast uurtarief hebben agents geen vooraf vastgesteld uitgavenplafond. Ze verbruiken tokens op basis van hun acties, en niet op basis van wat u hen hebt toegewezen.

„Het is van cruciaal belang om te weten waarom de kosten van agentgebaseerde AI zich anders gedragen, waar de uitgaven daadwerkelijk vandaan komen en hoe je governancekaders kunt implementeren die je inzicht en controle bieden nog voordat je de factuur ontvangt”, vat Finout samen.

Voorbereiden op autonomie

De behoefte is reëel. En de eerste product- en dienstenaanbiedingen komen op de markt. We hebben het over kostenbeheer van agentieke AI. Dit verwijst naar het beleid, de mechanismen voor inzicht, de controles en de verantwoordingsstructuren die organisaties gebruiken om de uitgaven in verband met autonome AI-systemen te beheren.

Voor CIO’s, CTO’s en CDO’s betekent dit een strategisch keerpunt. Het concurrentievoordeel gaat niet naar het bedrijf met het krachtigste model, maar naar het bedrijf dat er het meest robuuste operationele raamwerk omheen bouwt.

Dit houdt in dat er centraal toezicht moet worden ingesteld, dat er op risico’s gebaseerde implementatieniveaus moeten worden gedefinieerd en dat er strikte modellen voor kostentoewijzing moeten worden opgelegd voor elke geautomatiseerde workflow, legt Thinkia uit.

„De overgang van AI voor voorspellingen naar AI voor autonoom handelen vindt nu plaats, en organisaties die de operationele complexiteit ervan onder de knie krijgen, zullen het komende decennium het leiderschap op de markt bepalen. Succes vereist meer dan alleen technologie; het vraagt om een nieuw organisatorisch plan voor het tijdperk van autonomie.”