Google File System

Des Applications toujours plus gourmandes

Au cours des Années, Google n'a cessé de proposer toujours plus de services, toujours plus d'applications. Et à chaque fois, cela impact directement les capacités de stockage. En effet, si on prend l'exemple de Gmail, la célébre messagerie électronique. En 2004, à l'ouverture du service, la capacité de stockage était de 1Go. Du jamais vu... En comparaison, la messagerie éléctronique Hotmail de Microsoft n'était que de 50Mo, Soit 500 fois plus. Mais cette longueur d'avance ne suffit pas. L'année suivante, Google double la capacité de stockage, à 2Go par utilisateur. Imaginez donc la quantité de donnée stockée uniquement pour ce service. Pour information, le nombre de d'utilisateur de Gmail en 2007 était de 51 millions, en 2008 ce chiffre a presque doublé 91 millions, 152 millions en 2010. Impressionnant !

D'autre part, les données traitées lors de l'indexation du web sont énorme. Déjà en 2008, les chiffres communiqués était faramineux. A l'époque l'indexeur traitait plus de 20 PétaOctets de données chaque jour.
Rappel: 1 PétaOctet = 1000 TeraOctets
Rappel: 1 TeraOctet = 1000 GigaOctets

Il ne faut pas oublier les autres services Google qui eux aussi sont consommateurs d'espace disque:

La quantité de donnée stockée dépend aussi d'autres facteurs. Notamment, les données annexes liées au fonctionnement des systèmes. Mais surtout la redondance des informations, car il faut prévenir toute panne. Ainsi, il faut imaginer que chaque octet de donnée peut etre dupliqué 2 fois, 3 fois, ou plus. L'exemple sera plus parlant ainsi: "il faut imaginer que chaque TeraOctet de donnée peut etre dupliqué 2 fois, 3 fois, ou plus."...

Une infrastructure hors norme

Google a donc besoins de stocker d'énormes quantités d'informations. Pour cela, il lui faut une infrastruture.

Au fil des années, le nombre de serveur n'a cessé d'augmenter. Nombre de serveurs :

Visite guidée d'un datacenter de Google

En 2009, Google nous ouvre enfin les portes d'un de ses datacenters. L'infrastructure est impressionnante. La densité de serveur l'est aussi. Les serveurs sont stockés dans des conteneurs. Chaque conteneur peut accueillir plus de 1000 serveurs.