De kosten van AI beperken zich niet tot het aantal verbruikte tokens, verre van dat

Volgens het onderzoek “The Cost of Innovation” van Cebr voor Wasabi Technologies, wordt het steeds moeilijker om een budget op te stellen voor de infrastructuur die AI-projecten ondersteunt. Tegenwoordig wegen AI en machine learning echter zwaarder door dan welke andere infrastructuurcategorie dan ook.

Hoeveel kost een AI-project eigenlijk? De prijs van het model is doorgaans bekend, die van de licenties soms minder. En de kosten voor de integratie in het informatiesysteem moeten vaak nog worden bepaald. Daar komen nog de rekenkracht, de gegevensopslag, de gegevensoverdracht, de beveiliging en het dagelijks beheer bij. Kortom: de logistieke keten. Het wordt al snel duidelijk dat een AI-rekening niet alleen neerkomt op het aantal verbruikte tokens.

AI en machine learning vormen niet alleen het grootste deel van de kostenoverschrijdingen die aan leveranciers worden toegeschreven. Het is volgens Cebr ook de infrastructuurcategorie die het moeilijkst te voorspellen is. Ongeveer 22 % van de bedrijven meldde onvoorspelbare AI-kosten. Dat is bijna het dubbele van het percentage dat voor andere lagen van de technologische infrastructuur werd waargenomen.

Van de bedrijven die kostenoverschrijdingen in verband met de AI-infrastructuur meldden, noemde 38 % hogere kosten voor tokens, inferentie of gebruik dan verwacht. Onvoorziene kosten voor modellicenties (49 %) en uitgaven voor integratie of exploitatie (45 %) kwamen nog vaker voor.

Bedrijven weten dat AI aanzienlijke investeringen vereist. Ze zouden ook in staat moeten zijn om de kosten ervan in te schatten voordat ze aan een project beginnen, zo benadrukt het onderzoek. Maar dat is niet het geval.

Van leverancier veranderen? Niet eenvoudig!

Uit het onderzoek blijkt dat 71 % van de bedrijven het afgelopen jaar meer dan verwacht heeft uitgegeven aan infrastructuur. Van de bedrijven die te maken hadden met onvoorspelbare infrastructuurkosten, meldde 73 % matige tot aanzienlijke budgettaire druk. Binnen deze groep zag 36 % zich genoodzaakt om de reikwijdte van hun initiatieven op het gebied van AI, automatisering of datawetenschap uit te stellen of te beperken.

Van leverancier veranderen? Een andere weg inslaan? Uit het onderzoek „The Cost of Innovation“ blijkt dat 44 % van de bedrijven die achterlopen op het gebied van innovatie en 22 % van de koplopers moeite hebben om van infrastructuurleverancier te veranderen. Kosten voor gegevensoverdracht (zoals kosten in verband met API’s of het exporteren van gegevens), de fragmentatie van infrastructuren en de complexiteit van migraties kunnen bedrijven ervan weerhouden over te stappen naar goedkopere diensten, zelfs wanneer de potentiële besparingen duidelijk zijn.

Uit het onderzoek blijkt ook dat 89 % van de bedrijven extra kosten heeft moeten dragen als gevolg van de fragmentatie van hun dataomgevingen. Tegelijkertijd heeft 84 % in het afgelopen jaar minstens één keer te maken gehad met toegangsproblemen of vertragingen bij het verkrijgen van de gegevens die nodig waren voor de uitvoering van een project of het nemen van een beslissing.

Voor AI-gerelateerde workloads, die vaak toegang tot grote hoeveelheden gegevens en de overdracht daarvan tussen opslag- en rekenomgevingen vereisen, kunnen deze beperkingen de flexibiliteit beperken en de kosten verhogen.

Budgettaire beperkingen, gevolgen voor innovatie

In de acht onderzochte economieën moest 84 % van de organisaties het afgelopen jaar compromissen sluiten als gevolg van budgettaire beperkingen. Dit cijfer loopt op tot 92 % bij bedrijven die niet in staat zijn om van infrastructuurleverancier te veranderen.

De gevolgen voor innovatie zijn tastbaar. 29 % heeft geplande aanwervingen op het gebied van technologie, data, AI of innovatie teruggeschroefd of uitgesteld. 28 % heeft de omvang van een initiatief op het gebied van AI, automatisering of datawetenschap uitgesteld of teruggeschroefd. En 25 % heeft minder experimenten uitgevoerd op het gebied van AI, machine learning of datawetenschap. Ten slotte heeft 16 % de lancering van een product uitgesteld of geannuleerd.

Het uitstellen van een AI-gerelateerd initiatief kan leiden tot een verlies van meerdere maanden aan ontwikkelingstijd. Het annuleren van de lancering van een product kan betekenen dat een marktkans wordt gemist. Deze beslissingen hebben helaas gevolgen die veel verder reiken dan het IT-budget.