Vidéo: Hadoop Processing Frameworks 2024
La solution pour étendre indéfiniment les clusters Hadoop est de fédérer le NameNode. Avant que Hadoop 2 n'entre en scène, les clusters Hadoop devaient accepter le fait que NameNode imposait des limites sur le degré auquel ils pouvaient évoluer. Peu de grappes ont pu atteindre plus de 3 000 ou 4 000 nœuds.
Le besoin de NameNode de conserver des enregistrements pour chaque bloc de données stockées dans le cluster s'est avéré être le facteur le plus significatif limitant la croissance de la grappe. Lorsque vous avez trop de blocs, il devient de plus en plus difficile pour le NameNode d'évoluer à mesure que le cluster Hadoop évolue.
Plus précisément, vous devez paramétrer HDFS de telle sorte que plusieurs instances NameNode s'exécutent sur leurs propres nœuds maîtres dédiés, puis que chaque NameNode soit responsable uniquement des blocs de fichiers dans son propre espace de noms.
La figure montre des modèles de réplication de blocs de données dans HDFS. Vous pouvez voir un cluster Hadoop avec deux NameNodes desservant un seul cluster. Les nœuds esclaves contiennent tous des blocs provenant des deux espaces de noms.
