Vandaag de dag slaat S3 wereldwijd meer dan 500 biljoen objecten op en verwerkt het meer dan 200 miljoen verzoeken per seconde

De objectopslagdienst S3 van AWS blijft onmisbaar voor bedrijven. Tegenwoordig, tussen storingen en cyberbeveiliging, wil S3 de toonaangevende opslagtool voor AI worden.

Twintig jaar geleden, op 14 maart 2006, werd Amazon S3 (Simple Storage Service) stilletjes gelanceerd, met een simpele aankondiging op de ‘News’-pagina van AWS. Het blogbericht van Jeff Barr zelf bestond uit slechts een paar woorden, geschreven voordat hij op het vliegtuig stapte voor een bijeenkomst van ontwikkelaars in Californië. Geen voorbeeldcode. Geen demonstratie. Niemand had toen enig idee dat deze lancering de hele sector zou revolutioneren!

In de basis introduceerde S3 twee eenvoudige primitieven: PUT om een object op te slaan en GET om het later op te halen. Maar de echte innovatie zat hem in de onderliggende filosofie: modules creëren die repetitieve en complexe taken overnemen, zodat ontwikkelaars zich kunnen concentreren op taken met een hogere toegevoegde waarde.

Vanaf het begin is S3 gebaseerd op vijf fundamentele principes die onveranderd zijn gebleven. Beveiliging garandeert standaard gegevensbescherming. De duurzaamheid is ontworpen om 99,999999999% te bereiken. S3 wordt geëxploiteerd voor verliesloze beschikbaarheid. Dit is geïntegreerd in elke laag en berust op het principe dat storingen altijd mogelijk zijn en moeten worden beheerd. De prestaties zijn geoptimaliseerd om vrijwel elk datavolume op te slaan zonder kwaliteitsverlies. Dankzij de elasticiteit past het systeem zich automatisch aan het toevoegen en verwijderen van gegevens aan, zonder handmatige tussenkomst.

S3 vandaag de dag: een buitengewone schaalbaarheid

Gedurende 20 jaar is S3 trouw gebleven aan zijn fundamentele principes, ondanks een groei op een schaal die nauwelijks voorstelbaar is. S3 is een de facto standaard geworden en is overgenomen door verschillende specialisten op het gebied van opslag (Dell, Everpure, NetApp…) en back-up (Veeam, Rubrik, Cohesity…).

Bij de lancering bood S3 ongeveer een petabyte aan totale opslagcapaciteit, verdeeld over zo’n 400 opslagknooppunten in 15 racks, verspreid over drie datacenters, met een totale bandbreedte van 15 Gbit/s. Het systeem was ontworpen om tientallen miljarden objecten op te slaan, met een maximale grootte van 5 GB per object. De oorspronkelijke prijs was 15 cent per gigabyte.

Vandaag de dag slaat S3 wereldwijd meer dan 500 biljoen objecten op en verwerkt het meer dan 200 miljoen verzoeken per seconde, verspreid over honderden exabytes aan data in 123 beschikbaarheidszones en 39 AWS-regio’s, voor miljoenen klanten. De maximale grootte van objecten is gestegen van 5 GB naar 50 TB, een toename van 10.000 keer. Als we alle S3-harde schijven op elkaar zouden stapelen, zouden ze het internationale ruimtestation ISS bereiken en bijna heen en weer reiken.

De code die in 2006 voor S3 is geschreven, werkt vandaag de dag nog steeds

Ondanks deze exponentiële groei is de prijs van S3 gedaald. Tegenwoordig rekent AWS iets meer dan 2 cent per gigabyte. Dit betekent een prijsdaling van ongeveer 85% sinds de lancering in 2006. Tegelijkertijd is AWS doorgegaan met het aanbieden van oplossingen om de opslagkosten verder te optimaliseren via opslagniveaus. Zo hebben klanten gezamenlijk meer dan 6 miljard dollar bespaard op hun opslagkosten door gebruik te maken van Amazon S3 Intelligent-Tiering in plaats van Amazon S3 Standard.

Volgens AWS is het meest opmerkelijke succes ongetwijfeld het feit dat de code die in 2006 voor S3 is geschreven, vandaag de dag nog steeds werkt, zonder aanpassingen. De gegevens hebben 20 jaar aan innovaties en technische vooruitgang doorstaan. AWS heeft de infrastructuur gemigreerd via verschillende generaties schijven en opslagsystemen. De volledige code die nodig is om een verzoek te verwerken, is herschreven. Maar de gegevens die 20 jaar geleden zijn opgeslagen, zijn vandaag de dag nog steeds beschikbaar. Sterker nog: AWS heeft de volledige opwaartse compatibiliteit van zijn API behouden. Dit is een blijk van zijn toewijding om een dienst te leveren die altijd probleemloos functioneert.