Table des matières:
- Déploiement Hadoop à un seul rack
- Déploiement Hadoop à trois racks
- Déploiement Hadoop à grande échelle
Vidéo: Hadoop Multi Node Cluster Setup | Hadoop Installation | Hadoop Administration Tutorial | Edureka 2024
Déploiement Hadoop à un seul rack
Un déploiement à un seul rack est un point de départ idéal pour un cluster Hadoop.
Ici, le cluster est assez autonome, mais comme il a encore relativement peu de nœuds esclaves, les vrais avantages de la résilience de Hadoop ne sont pas encore apparents.
Déploiement Hadoop à trois racks
Un cluster de taille moyenne comporte plusieurs racks, dans lesquels les trois nœuds maîtres sont répartis sur les racks.
La résilience de Hadoop commence à se faire jour: même si une baie entière échouait (par exemple, les deux commutateurs ToR dans un seul rack), le cluster fonctionnerait toujours, bien qu'à un niveau de performance inférieur. Une défaillance de nœud esclave serait à peine perceptible.
Déploiement Hadoop à grande échelle
Dans les clusters plus grands comportant de nombreux racks, comme dans l'exemple illustré, l'architecture réseau requise est assez sophistiquée.
Quel que soit le nombre de baies déployées par les clusters Hadoop, les noeuds esclaves de n'importe quel rack doivent être capables de parler efficacement. à n'importe quel noeud maître.
Lorsque le nombre de nœuds esclaves augmente au point où vous avez plus de trois racks, les racks supplémentaires sont composés uniquement de nœuds esclaves, mis à part les commutateurs ToR. Si vous utilisez fortement HBase sur votre cluster, vous pouvez ajouter des nœuds maîtres pour héberger des services HMaster et Zookeeper supplémentaires.
Si vous passez à une échelle véritablement massive, où vous avez des centaines de nœuds esclaves, vous devrez peut-être utiliser les fonctionnalités de fédération HDFS pour qu'une grande partie de vos ensembles de données soit gérée par différents services NameNode.
Pour chaque nœud de nom actif supplémentaire, vous aurez besoin d'un nœud de nom de secours correspondant et de deux nœuds maîtres pour héberger ces serveurs. Avec la fédération HDFS, le ciel est vraiment la limite en termes de développement de vos clusters.
Précédent Suivant
