Le framework Apache Hadoop
Utilisateurs et contributeurs
Quelques utilisateurs
L'entreprise Yahoo utilise largement Hadoop ainsi que ses implémentations dans le cadre de son infrastructure de services distribué.
En 2010, son architecture de datacenter se composait alors de plus de 10000 machines sous Unix permettant le fonctionnement et la gestion de son moteur de recherche.
Yahoo participe activement à l'élaboration de projets en lien avec le calcul distribué et est l'un des principaux contributeurs du projet Hadoop.
L'utilisation d'Hadoop se justifie grandement pour cette entreprise dont le réseau social gère plus d'un milliard de comptes d'utilisateurs et les informations qui y sont associées.
Facebook déclarait en 2012 disposer d'un cluster gérant plus de 100 Pétaoctets rien que pour les données en ligne des comptes d'utilisateurs.
Les équipes de recherche de Facebook ont réalisé le système de gestion de bases de données non-relationnelles HBase, devenu open-source depuis. Cette entreprise a, depuis quelques années, largement investi dans le domaine du distribué et compris l'enjeu qu'une architecture de ce type efficace pouvait rapporter.
Facebook utilise Hadoop dans le cadre l'architecture de son réseau social et a même implémenté une évolution du système Hadoop en interne. Le NameNode principal, point central de la gestion des données dans un cluster, a évolué en AvatarNode, une combinaison de plusieurs machines physiques pouvant prendre le relai en cas de panne du NameNode principal. Cette modification de l'architecture Hadoop permet d'éliminer le "single point of failure" que constituait la panne possible du NameNode.
Beaucoup d'autres grands comptes du monde IT Web utilisent le framework Hadoop et ses implémentations parmis lesquels Twitter, LinkedIn, IBM, HP, Microsoft, Apple et bien d'autres...
Un annuaire très intéressant sur le site de la fondation Apache, répertorie les grandes entreprises l'utilisant ainsi que leur cadre d'utilisation du framework Hadoop (clusters, services) : Apache Hadoop PoweredBy.
Contributeurs du projet
Sur le site du de la fondation Apache Software, une page liste les membres du comité de management du projet Hadoop (Hadoop PMC) ainsi que toutes les organisations ayant contribué au développement et à l'évolution du framework : Hadoop PMC
Nous pouvons voir que les principaux contributeurs du projet sont des ingénieurs issus des entreprises Hortonworks, Yahoo, Facebook, Clouder ou encore Microsoft.