Vidéo: Horizon - Urs Hölzle - Infrastructure for the Long Term 2024
Dimensionner un système de traitement de données est autant une science que Avec Hadoop, vous considérez les mêmes informations que vous le feriez avec une base de données relationnelle, par exemple, mais surtout, vous devez connaître le volume de données dont vous disposez, estimer les taux de croissance attendus et définir une politique de rétention pour garder les données).
Les réponses à ces questions servent de point de départ, ce qui est indépendant de toute exigence liée à la technologie
Après avoir déterminé la quantité de données Supposons que vous ayez une société de télécommunications et que vous ayez établi que vous avez besoin de 750 téraoctets (To) d'espace de stockage pour ses fichiers journaux d'enregistrement détaillé des appels (CDR). Vous conservez ces enregistrements pour obéir aux réglementations gouvernementales, mais vous pouvez également les analyser. o voir les tendances de rotation et surveiller la santé du réseau, par exemple. Pour déterminer l'espace de stockage dont vous avez besoin et, par conséquent, le nombre de racks et de nœuds esclaves dont vous avez besoin, vous effectuez vos calculs en tenant compte de ces facteurs:
-
Le facteur de réplication par défaut pour les données dans HDFS est 3. Les 500 téraoctets de données CDR pour la société de télécommunications dans l'exemple se transforment alors en 1500 téraoctets. Échange d'espace:
-
Toute analyse ou traitement des données par MapReduce nécessite 25% d'espace supplémentaire pour stocker les ensembles de résultats intermédiaires et finaux. (La société de télécommunications a maintenant besoin de 1875 téraoctets d'espace de stockage.)
-
La société de télécommunications stocke les CDR sous une forme compressée, où le taux de compression moyen devrait être de 3: 1. Vous avez besoin de 625 téraoctets. Nombre de nœuds esclaves:
-
En supposant que chaque nœud esclave dispose de douze disques 3 To dédiés à HDFS, chaque nœud esclave dispose de 36 téraoctets de stockage HDFS brut, l'entreprise a donc besoin de 18 nœuds esclaves. Nombre de racks:
-
Parce que chaque nœud esclave utilise 2RU et que l'entreprise a besoin de trois nœuds maîtres (1RU pièce) et de deux commutateurs ToR (1RU pièce), vous avez besoin d'un total de 41RU. Il est inférieur de 1RU à la capacité totale d'un rack standard. Un seul rack suffit donc pour ce déploiement. Quoiqu'il en soit, il n'y a pas de place pour la croissance dans ce cluster, il est donc prudent d'acheter un deuxième rack (et deux commutateurs ToR supplémentaires) et de diviser les nœuds esclaves entre les deux racks.
Test:
-
La maintenance d'un cluster de test représentant une représentation à plus petite échelle du cluster de production est une pratique standard. Il ne doit pas être énorme, mais vous voulez au moins cinq nœuds de données pour que vous obteniez une représentation précise du comportement de Hadoop.Comme avec tout environnement de test, il doit être isolé sur un réseau différent du cluster de production. Sauvegarde et reprise après sinistre:
-
Comme tout système de production, la société de télécommunications devra également prendre en compte les exigences de sauvegarde et de reprise après sinistre. Cette société pourrait aller jusqu'à créer un cluster miroir pour s'assurer qu'ils ont un système de secours pour l'ensemble de leur système. C'est évidemment l'option la plus coûteuse, mais elle est appropriée pour les environnements où une disponibilité permanente est essentielle. À l'extrémité la moins chère du spectre (au-delà de la sauvegarde des données), la société de télécommunications pouvait régulièrement sauvegarder toutes les données (y compris les données, applications, fichiers de configuration et métadonnées) stockées dans leur groupe de production enregistrer. Avec la bande, les données ne sont pas immédiatement accessibles, mais elles permettent un effort de reprise après sinistre dans le cas où tout le cluster Hadoop de production échoue.
Comme avec votre propre ordinateur personnel, lorsque le disque dur principal se remplit d'espace, le système ralentit considérablement. Hadoop ne fait pas exception. En outre, un disque dur fonctionne mieux lorsqu'il est moins de 85 à 90% plein. Avec cette information à l'esprit, si la performance est importante pour vous, vous devriez augmenter le facteur d'espace de swap de 25 à 33%.
