De meest effectieve AI is degene die beschikbaar is op de plek waar het werk plaatsvindt

De toekomst van AI kan niet uitsluitend op de cloud berusten. Gezien de explosieve groei van het aantal modellen wordt het voor bedrijven financieel en logistiek onhoudbaar om alle gegevens in externe datacenters te verwerken. Uitleg door Prakash Arunkundrum, Chief Strategy & Transformation Officer bij HP Inc.

„Moet al die AI echt in de cloud draaien?” Voor Prakash Arunkundrum is dat dé vraag van dit moment. De vraag die alle CIO’s zich stellen nu ze aan hun AI-projecten werken. En terecht, want het is duur. Om nog maar te zwijgen van de veiligheid. En de gegevensprivacy…

De investering op zich is niet het probleem, meent Prakash Arunkundrum. Bedrijven van elke omvang besteden aanzienlijke bedragen aan AI; volgens onderzoek van HP maakt 63 % van de werknemers inmiddels gebruik van AI bij hun dagelijkse of wekelijkse taken. De tools worden steeds beter: ze worden steeds meer geïntegreerd in systemen en processen en worden dankzij agents steeds zelfstandiger. Dat is precies wat we van AI verwachten.

Een toenemende behoefte aan intelligentie, maar tegen welke prijs?

Zodra AI echter het stadium van een eenvoudige chatinterface ontgroeit en wordt geïntegreerd in workflows en autonome agents, veranderen de eisen. „De kwestie van de kosten is de eerste zorg die mij wordt voorgelegd. En terecht: volgens CNBC berust ongeveer 95 % van de AI-gerelateerde werklast in bedrijven nog steeds op geavanceerde modellen – de beroemde ‘frontier models’ – die zeer kostbaar zijn, terwijl veel alledaagse taken zouden kunnen worden afgehandeld door lichtere en goedkopere alternatieven.”

Het tweede onderwerp is veiligheid. Leidinggevenden herzien hun veiligheidsbeleid voor een omgeving waarin autonome agents, die in realtime binnen de systemen opereren, onmiddellijke reacties vereisen. Het beheer van gevoelige gegevens roept complexe vragen op: welke informatie mag daadwerkelijk de interne infrastructuur van het bedrijf verlaten?

„Naarmate de mogelijkheden van AI zich verder ontwikkelen, worden organisaties geconfronteerd met een grote spanning: enerzijds de behoefte aan meer intelligentie, snellere beslissingen en bredere toegang tot AI; anderzijds stijgende kosten en complexere veiligheidsrisico’s. ”

Zo dicht mogelijk bij de gebruiker

Deze situatie stimuleert de vraag naar lokale inferentie, die een betere kostenefficiëntie, versterkte beveiliging en lagere latentie biedt. „Hybridisatie is in opmars!”, verzekert Prakash Arunkundrum.

Dankzij nieuwe innovaties op het gebied van halfgeleiders kunnen aanzienlijke AI-rekenkracht direct in de apparaten worden geïntegreerd. Hierdoor wordt het mogelijk om meer inferentiebewerkingen lokaal uit te voeren, zonder dat elke aanvraag via de cloud hoeft te lopen, waardoor tegelijkertijd extra gebruikskosten worden vermeden.

„Op mijn eigen HP Elitebook X draait een model met 20 miljard parameters dat regelmatig nuttige informatie genereert. Dit is een belangrijke mijlpaal: een groot deel van het volgende hoofdstuk van de AI zal zich afspelen zo dicht mogelijk bij de gebruiker, de gegevens en de plaatsen waar het werk daadwerkelijk wordt verricht!“

Vroeger namen computers hele kamers in beslag; daarna verhuisden ze naar onze bureaus, onze tassen en vervolgens onze zakken. AI volgt hetzelfde traject, maar in een sneller tempo. De modellen worden compacter en goedkoper om uit te voeren, terwijl de apparaten die al op onze bureaus of in onze fabrieken staan, steeds krachtiger worden, waardoor ze deze taken aankunnen.

Wanneer de waarde verschuift van de cloud naar het apparaat zelf

Veel AI-gerelateerde taken worden beter verwerkt op speciale AI-pc’s, werkstations of apparaten aan de rand van het netwerk, zo stelt HP. Dit geldt met name voor agentgebaseerde systemen of inferentietaken die een lage latentie vereisen, aan strenge beveiligingseisen moeten voldoen of gebruikmaken van gegevens die al lokaal aanwezig zijn. Lokale uitvoering biedt kostenoptimalisatie met betrekking tot ‘tokens’, een lagere latentie en verbeterde gegevensbeveiliging.

Daarnaast zijn er nog andere voordelen. Wanneer AI rechtstreeks op het apparaat draait, maakt dit het mogelijk om productspecifieke ervaringen te creëren. De context, het geheugen en de workflows blijven in de directe omgeving van de gebruiker, waardoor de ervaring persoonlijker en veiliger wordt. De waarde verschuift dan van de cloud naar het apparaat zelf.

„Dit betekent echter niet dat we de cloud de rug toekeren”, verduidelijkt Prakash Arunkundrum. Inferentie in de cloud blijft onmisbaar voor de grootste, meest complexe en rekenintensieve workloads. De volgende fase van AI vereist echter een slimmere coördinatie, waarbij elke taak wordt toegewezen aan de omgeving die de beste balans biedt tussen prestaties, kosten, beveiliging en gebruikerservaring. ”

Dit is nu al realiteit

De echte belofte van AI aan de rand is dat medewerkers hun werk kunnen optimaliseren, precies waar dat nodig is: in klinieken, klaslokalen, fabrieken, in het veld of midden in de dagelijkse operationele processen.

„Overal zetten organisaties nu al complexe AI-systemen rechtstreeks op de werkplek in, waarbij ze gebruikmaken van computervisie en audiomodellen om defecten in realtime op te sporen. Aangezien de gegevens ter plaatse worden gegenereerd, moet de beslissing daar onmiddellijk worden genomen. Elk beeld naar een datacenter sturen om op een antwoord te wachten, heeft geen zin wanneer elke milliseconde telt.”

Analisten signaleren deze trend. Gartner voorspelt dat tegen 2028 meer dan 20 % van de bedrijven AI-gerelateerde taken lokaal zal uitvoeren. McKinsey schat op zijn beurt dat tegen 2030 inferentie meer dan de helft van alle AI-taken zal uitmaken, waarbij een steeds groter deel aan de rand wordt verwerkt.

„Om deze aanpak op bedrijfsniveau te realiseren, is het niet voldoende om alleen over krachtige apparaten te beschikken“, waarschuwt Prakash Arunkundrum. Er is ook een complete hybride AI-infrastructuur nodig, inclusief beveiligde eindapparaten aan de rand, tools voor modelbeheer en -governance, specifieke beveiligingsmechanismen voor AI, en coördinatie tussen apparaten, de rand en de cloud.

Waar de gegevens worden gecreëerd, daar moeten de beslissingen worden genomen

„De vraag is niet langer of AI dichter bij de werkplekken zal komen, maar veeleer hoe snel de sector deze transitie veilig, schaalbaar en operationeel kan maken voor klanten. Daarom raad ik IT-managers die deze transformatie begeleiden aan om hun perspectief te veranderen: in plaats van zich af te vragen waar de gegevens moeten worden verwerkt, moeten ze zich afvragen waar het werk daadwerkelijk wordt verricht. “

De meest effectieve AI is degene die beschikbaar is op de plek waar het werk plaatsvindt, of dat nu een productielijn is, de werkplek van een ingenieur of de laptop die u op dit moment gebruikt. Het gaat om beveiligde, gepersonaliseerde intelligentie die in apparaten is geïntegreerd, waardoor de kosten van de cloud kunnen worden verlaagd en tegelijkertijd de privacy wordt versterkt, de latentie wordt verminderd en de productiviteit van gebruikers wordt verbeterd.

De toekomst van AI is hybride, concludeert Prakash Arunkundrum. Voor bedrijven „gaat het er niet om te kiezen tussen de cloud en de rand, maar om de intelligentie in te zetten waar deze de meeste waarde oplevert.” Dit houdt in dat AI-architecturen moeten worden ontworpen met oog voor de realiteit van het werk: daar waar gegevens worden gecreëerd, daar waar beslissingen moeten worden genomen, en daar waar medewerkers en klanten een betere ervaring nodig hebben.