Aujourd’hui, S3 stocke plus de 500 billions d’objets et traite plus de 200 millions de requêtes par seconde à l’échelle mondiale

Le service de stockage objet S3 d’AWS reste incontournable pour les entreprises. Aujourd’hui, entre les pannes et la cybersécurité, S3 entend devenir l’outil de stockage de référence pour l’IA.

Il y a vingt ans, le 14 mars 2006, Amazon S3 (Simple Storage Service) était lancé discrètement, avec une simple annonce sur la page « News » d’AWS. L’article de blog de Jeff Barr lui-même ne comportait que quelques mots, écrits avant de prendre l’avion pour un rassemblement de développeurs en Californie. Aucun exemple de code. Aucune démonstration. Personne ne se doutait alors que ce lancement allait révolutionner tout le secteur !

À la base, S3 a introduit deux primitives simples : PUT pour stocker un objet et GET pour le récupérer ultérieurement. Mais la véritable innovation résidait dans la philosophie sous-jacente : créer des modules qui prennent en charge les tâches répétitives et complexes, permettant ainsi aux développeurs de se concentrer sur des missions à plus forte valeur ajoutée.

Dès sa création, S3 s’est appuyé sur cinq principes fondamentaux qui demeurent inchangés. La sécurité garantit la protection des données par défaut. La durabilité est conçue pour atteindre 99,999999999 %. S3 est exploité pour une disponibilité sans perte. Intégrée à chaque couche, elle repose sur le principe que les pannes sont toujours possibles et doivent être gérées. Les performances sont optimisées pour stocker quasiment n’importe quel volume de données sans dégradation. L’élasticité permet au système de s’adapter automatiquement à l’ajout et à la suppression de données, sans intervention manuelle.

S3 aujourd’hui, une évolutivité hors du commun

Pendant 20 ans, S3 est resté fidèle à ses principes fondamentaux, malgré une croissance à une échelle difficilement imaginable. S3 est devenu un standard de facto et a été adopté par plusieurs spécialistes du stockage (Dell, Everpure, NetApp…) et de la sauvegarde (Veeam, Rubrik, Cohesity…).

Lors de son lancement, S3 offrait environ un pétaoctet de capacité de stockage totale répartie sur quelque 400 nœuds de stockage dans 15 racks, sur trois centres de données, avec une bande passante totale de 15 Gbit/s. Le système a été conçu pour stocker des dizaines de milliards d’objets, avec une taille maximale de 5 Go par objet. Le prix initial était de 15 cents par gigaoctet.

Aujourd’hui, S3 stocke plus de 500 billions d’objets et traite plus de 200 millions de requêtes par seconde à l’échelle mondiale, sur des centaines d’exaoctets de données répartis dans 123 zones de disponibilité et 39 régions AWS, pour des millions de clients. La taille maximale des objets est passée de 5 Go à 50 To, soit une multiplication par 10 000. Si l’on empilait tous les disques durs S3, ils atteindraient la Station spatiale internationale et feraient presque l’aller-retour.

Le code écrit pour S3 en 2006 fonctionne encore aujourd’hui

Malgré cette croissance exponentielle, le prix de S3 a baissé. Aujourd’hui, AWS facture un peu plus de 2 cents par gigaoctet. Cela représente une réduction de prix d’environ 85 % depuis son lancement en 2006. Parallèlement, AWS a continué à proposer des solutions pour optimiser davantage les dépenses de stockage grâce aux niveaux de stockage. Par exemple, les clients ont collectivement économisé plus de 6 milliards USD sur leurs coûts de stockage en utilisant Amazon S3 Intelligent-Tiering par rapport à Amazon S3 Standard.

A entendre AWS, la réussite la plus remarquable est sans doute le fait que le code écrit pour S3 en 2006 fonctionne encore aujourd’hui, sans modification. Les données ont traversé 20 ans d’innovations et de progrès techniques. AWS migré l’infrastructure à travers plusieurs générations de disques et de systèmes de stockage. L’intégralité du code nécessaire au traitement d’une requête a été réécrite. Mais les données enregistrées il y a 20 ans sont toujours disponibles aujourd’hui. Mieux : AWS a maintenu une compatibilité ascendante totale de son API. C’est son engagement à fournir un service qui fonctionne toujours sans problème.