Vidéo: 030 Configuring Hadoop and Starting Up the Hadoop Cluster 2024
Comme avec n'importe quel système distribué, le réseau peut faire ou défaire un cluster Hadoop: ne pas «aller bon marché. «Il y a beaucoup de bavardage entre les nœuds maîtres et les nœuds esclaves dans un cluster Hadoop, ce qui est essentiel pour maintenir le cluster en fonctionnement, donc les commutateurs de classe entreprise sont définitivement recommandés.
Pour chaque rack de votre cluster, vous avez besoin de deux commutateurs Top of rack (ToR), à la fois pour la redondance et les performances. Utilisez 10GbE pour les commutateurs ToR.
Les commutateurs ToR sont des commutateurs réseau qui connectent tous les ordinateurs d'un rack ensemble. Vous les voyez normalement tout en haut d'un rack, c'est pourquoi les gens disent "top-of-rack". "Une autre approche de mise en réseau consiste à utiliser des commutateurs de fin de ligne (EoR), mais vous ne les voyez pas très souvent.
L'approche ToR est plus simple du point de vue de la mise en réseau pour les grappes en croissance. Par exemple, l'ajout de nœuds esclaves et de racks supplémentaires est beaucoup plus facile avec les commutateurs ToR qu'avec EoR.
Lorsque vous avez plus de trois racks, vous avez besoin d'au moins deux commutateurs de base (encore une fois, principalement pour la redondance, mais aussi pour la performance). Ces commutateurs de base traitent des quantités massives de trafic, donc 40GbE est une nécessité.
Si vous construisez ou développez un cluster sur plusieurs racks, engagez des experts en réseau qui connaissent Hadoop, vos plans de croissance futurs et votre charge de travail. Une mauvaise mise en réseau peut gravement entraver les performances, mais elle peut également rendre la croissance future douloureuse et coûteuse.
