Het pay-as-you-go-tarief zorgt voor uitdagingen op het gebied van kostenvoorspelbaarheid
Gartner voorspelt dat de ontwikkelingskosten van AI tegen 2028 het gemiddelde salaris van een ontwikkelaar zullen overstijgen, als gevolg van de explosieve toename van het tokenverbruik.
Tegen 2028 zullen de ontwikkelingskosten van AI het gemiddelde salaris van een ontwikkelaar overstijgen, als gevolg van het toenemende verbruik van tokens voor complexe taalmodellen (LLM’s) en de overstap naar verbruiksgebaseerde licentiemodellen.
AI-tokens zijn de eenheden van gegevens die door generatieve AI-modellen worden verwerkt, zo herinnert Gartner ons. Het tokenverbruik heeft een directe invloed op de kosten van AI-ontwikkelingstools, met name bij verbruiksgebaseerde tariefstructuren.
„Bedrijven maken snel de overstap van experimenteren naar grootschalige implementatie van AI-ontwikkelingsagenten, maar velen onderschatten de financiële impact van het toenemende tokenverbruik”, constateert Nitish Tyagi, Senior Principal Analyst bij Gartner. Discipline op het gebied van tokens zal niet alleen door de keuze van ontwikkelaars tot stand komen, aangezien zij de neiging hebben om snelheid en gebruiksgemak te verkiezen boven kostenefficiëntie. Zonder een gestructureerd operationeel engineeringmodel kunnen de kosten sneller de pan uit rijzen dan de productiviteitswinst die deze tools geacht worden op te leveren.”
Een echte uitdaging op het gebied van voorspelbaarheid
De overgang van een licentie per gebruiker naar een verbruiksgebaseerde prijsstelling bij aanbieders van AI-codeeragenten leidt tot sterk variërende kostenstructuren voor software-engineeringwerkzaamheden. Veel aanbieders zijn onvoldoende transparant over de berekening en facturering van het tokenverbruik, waardoor bedrijven hun kosten niet nauwkeurig kunnen voorspellen en beheersen.
Zonder duidelijk inzicht in het tokengebruik voor de verschillende ontwikkelingstaken lopen organisaties het risico op budgetoverschrijdingen en een verminderde mogelijkheid om de kosteneffectiviteit te bewaken.
„De meeste organisaties beschikken nog steeds niet over de nodige maturiteit of kaders om de kosten-impact op de bedrijfsactiviteiten effectief te meten,” vervolgt Nitish Tyagi. Leidinggevenden op het gebied van software-engineering maken zich steeds meer zorgen; budgetten zijn vaak eerder op dan verwacht…”
Gebruikspatronen en tekortkomingen in het beheer vergroten de kostendruk.
Naast de uitdagingen op het gebied van prijsstelling en inzicht draagt het gebruik van AI-codeeragenten binnen organisaties ook bij aan stijgende kosten. Het overschrijden van de tokenuitgaven hangt vaak samen met de manier waarop software-engineeringmanagers het gebruik ervan beheren. Veelvoorkomende problemen zijn onder meer de ongecontroleerde autonomie van door agents aangestuurde workflows, te lange contextvensters en het ontbreken van gestructureerde feedbackmechanismen om het gebruik te optimaliseren.
Bovendien hebben leveranciers van AI-codeeroplossingen nog geen volwassen functies voor kostenoptimalisatie in hun agents geïntegreerd, wat bijdraagt aan de stijging van de kosten.
„Bij deze kosten moeten nog de kosten worden opgeteld die voortvloeien uit reguliere gebruikers, die steeds meer AI verbruiken,” merkt Nitish Tyagi op. Het gaat er dus om een rigoureus operationeel model voor het gebruik van AI in te voeren.”
Er is een besluitvormingskader nodig
Volgens Gartner moeten organisaties duidelijk definiëren wanneer AI-codeeragenten moeten worden ingezet en bepalen wat het juiste niveau van autonomie is voor elke taak.
Dit houdt in dat ontwikkelingstaken worden ingedeeld in drie uitvoeringsmodellen: aangestuurd door de ontwikkelaar, met hulp van een agent en volledig aangestuurd door de agent.
Het idee is om eenvoudige en veelvoorkomende taken naar kleinere modellen te leiden, terwijl de geavanceerde modellen worden gereserveerd voor complexe ontwikkelingswerkzaamheden met een hoge toegevoegde waarde.
Dit komt ook neer op het opleggen van contextgerichte engineeringpraktijken: ontwikkelaars moeten worden getraind om de invoercontext die aan AI-systemen wordt verstrekt te optimaliseren door alleen relevante informatie op te nemen, de inhoud waar mogelijk samen te vatten en overbodige gegevens te verwijderen, om zo het verbruik van tokens te verminderen zonder de kwaliteit van het resultaat in gevaar te brengen.
Dit alles komt neer op het invoeren van governance en kostenbeheersing: organisaties moeten mechanismen invoeren zoals token-drempels, escalatiebeleid en geautomatiseerd toezicht om het gebruik ervan te beheren.
Ten slotte moeten beoordelingen van het tokengebruik worden geïntegreerd in de ontwikkelingscycli: leidinggevenden moeten regelmatige beoordelingen van tokenintensieve workflows verplicht stellen in het kader van sprintretrospectieven om inefficiënties op te sporen, werkwijzen te verbeteren en kennisuitwisseling tussen de engineeringteams te bevorderen.
