Accueil Finances personnelles De la phase Map du flux applicatif MapReduce de Hadoop - mannequins

De la phase Map du flux applicatif MapReduce de Hadoop - mannequins

Vidéo: Hadoop Processing Frameworks 2025

Vidéo: Hadoop Processing Frameworks 2025
Anonim

Une application MapReduce traite les données dans les divisions d'entrée sur une base enregistrement par enregistrement et chaque enregistrement est compris par MapReduce comme une valeur / clé paire. Une fois les divisions d'entrée calculées, les tâches de mappeur peuvent commencer à les traiter, c'est-à-dire juste après que la fonction de planification du gestionnaire de ressources leur a assigné leurs ressources de traitement. (Dans Hadoop 1, JobTracker affecte des tâches de mappage à des emplacements de traitement spécifiques.)

La tâche de mappeur elle-même traite son enregistrement d'entrée séparé à la fois - dans la figure, cet enregistrement isolé est représenté par la paire clé / valeur. Dans le cas de nos données de vol, lorsque les divisions d'entrée sont calculées (en utilisant la méthode de traitement de fichiers par défaut pour les fichiers texte), l'hypothèse est que chaque ligne du fichier texte est un enregistrement unique.

Pour chaque enregistrement, le texte de la ligne elle-même représente la valeur et le décalage d'octet de chaque ligne à partir du début de la division est considéré comme la clé.

Vous vous demandez peut-être pourquoi le numéro de ligne n'est pas utilisé à la place du décalage d'octet. Lorsque vous considérez qu'un fichier texte très volumineux est décomposé en plusieurs blocs de données individuels et qu'il est traité en autant de divisions, le numéro de ligne est un concept risqué.

Le nombre de lignes dans chaque division varie, il serait donc impossible de calculer le nombre de lignes précédant celui en cours de traitement. Cependant, avec le décalage d'octets, vous pouvez être précis, car chaque bloc a un nombre fixe d'octets.

Lorsqu'une tâche de mappage traite chaque enregistrement, elle génère une nouvelle paire clé / valeur: La clé et la valeur ici peuvent être complètement différentes de la paire d'entrées. La sortie de la tâche de mappage est la collection complète de toutes ces paires clé / valeur.

Avant d'écrire le fichier de sortie final pour chaque tâche de mappage, la sortie est partitionnée en fonction de la clé et triée. Ce partitionnement signifie que toutes les valeurs de chaque clé sont regroupées.

Dans le cas de l'exemple d'application relativement basique, il n'y a qu'un seul réducteur, de sorte que toute la sortie de la tâche de mappage est écrite dans un seul fichier. Mais dans les cas avec plusieurs réducteurs, chaque tâche de mappeur peut également générer plusieurs fichiers de sortie.

La décomposition de ces fichiers de sortie est basée sur la clé de partitionnement. Par exemple, s'il n'y a que trois clés de partitionnement distinctes pour les tâches du mappeur et que vous avez configuré trois réducteurs pour le travail, il y aura trois fichiers de sortie du mappeur. Dans cet exemple, si une tâche de mappeur particulière traite une division d'entrée et qu'elle génère une sortie avec deux des trois clés, il n'y aura que deux fichiers de sortie.

Toujours compresser les fichiers de sortie de vos tâches de mappeur. Le plus grand avantage ici est dans les gains de performance, car l'écriture de fichiers de sortie plus petits minimise le coût inévitable du transfert de la sortie du mappeur vers les nœuds où les réducteurs sont en cours d'exécution.

Le partitionneur par défaut est plus qu'adéquat dans la plupart des situations, mais parfois vous pouvez vouloir personnaliser la façon dont les données sont partitionnées avant qu'elles ne soient traitées par les réducteurs. Par exemple, vous souhaiterez peut-être trier les données de vos ensembles de résultats en fonction de la clé et de leurs valeurs, appelées tri secondaire .

Pour ce faire, vous pouvez remplacer le partitionneur par défaut et implémenter le vôtre. Cependant, ce processus nécessite quelques précautions, car vous devez vous assurer que le nombre d'enregistrements dans chaque partition est uniforme. (Si un réducteur doit traiter beaucoup plus de données que les autres réducteurs, vous attendez que votre travail MapReduce se termine alors que le réducteur surchargé surcharge son ensemble de données démesurément grand.)

En utilisant des fichiers intermédiaires de taille uniforme, vous peut mieux tirer parti du parallélisme disponible dans le traitement MapReduce.

De la phase Map du flux applicatif MapReduce de Hadoop - mannequins

Le choix des éditeurs

Principes de base du protocole de routage IP Multicast - dummies

Principes de base du protocole de routage IP Multicast - dummies

IP Le routage multicast est le routage du trafic multicast. La nature des données IP Multicast est telle qu'elle a ses propres problèmes de routage de réseau Cisco. Il existe quatre protocoles de multidiffusion principaux pris en charge par le Cisco IOS actuel. L'illustration vous montre approximativement où les protocoles sont utilisés; Ce qui suit est ...

Comment le protocole STP (Spanning Tree Protocol) gère les modifications du réseau - dummies

Comment le protocole STP (Spanning Tree Protocol) gère les modifications du réseau - dummies

Nouveau concentrateur ou passer à un réseau mappé STP (Spanning Tree Protocol)? Pour cet exemple, un concentrateur était connecté à un port sur les deux commutateurs 11: 99 et 77: 22. Un concentrateur était utilisé car il ne disposait pas d'une intelligence réseau. L'effet net est en fait le même que ...

Types de réseau local (LAN) - nuls

Types de réseau local (LAN) - nuls

Un WAN est un type de réseau local (LAN) . Un réseau local est un réseau privé généralement constitué d'une connexion réseau fiable, rapide et bien connectée. Les alternatives sur le framework LAN incluent CAN, MAN et WAN. Ces trois options de réseau sont illustrées ci-dessous: CAN Si vous utilisez le réseau LAN ...

Le choix des éditeurs

Bebo est l'application de médias sociaux pour vous? - les nuls

Bebo est l'application de médias sociaux pour vous? - les nuls

Comment savez-vous quel est le bon média social pour vous? La culture moderne devient de plus en plus dépendante des médias sociaux tels que Bebo, Facebook, Twitter et What'sApp, ainsi que de nombreux autres. Le questionnaire suivant vous aidera à déterminer si vous avez ou non ce qu'il faut pour être social sur le nouveau ...

Comment utiliser Bebo - dummies

Comment utiliser Bebo - dummies

Bebo, la nouvelle application des médias sociaux, est aussi facile à utiliser que C'est amusant à regarder. Vous pouvez obtenir cette nouvelle application sur Google Play Store et Apple App Store. Lancez Bebo et suivez les instructions à l'écran pour terminer le processus de création de compte. Après avoir téléchargé avec succès, ...

Le choix des éditeurs

Ce que vous pouvez trouver dans une barre latérale de blog - des mannequins

Ce que vous pouvez trouver dans une barre latérale de blog - des mannequins

La plupart des blogs contiennent du matériel de barre latérale. La plupart des blogs sont disposés en deux ou trois colonnes, et le contenu de la barre latérale apparaît généralement dans les deuxième et / ou troisième colonnes. Certains blogs n'ont pas de barres latérales, et sur d'autres blogs, vous pouvez découvrir des éléments supplémentaires au-delà de ce que vous voyez ici. Archives basées sur la date: Presque tous les blogs sont ...

Lorsqu'un réseau publicitaire est approprié pour votre blog maman - les mannequins

Lorsqu'un réseau publicitaire est approprié pour votre blog maman - les mannequins

Ne sont que quelques-unes modèles conflit en cours d'exécution des publicités avec vos meilleurs intérêts. C'est quand vous bloguez pour vendre vos propres produits ou pour promouvoir vos services professionnels. Même dans ce cas, il est toujours possible de diffuser des annonces sur ces blogs, surtout si les annonces font la promotion de produits et de services complémentaires et non concurrents. Mais si vous êtes ...

Quand maman blogue pour Swag is Okay - les mannequins

Quand maman blogue pour Swag is Okay - les mannequins

Dans certaines circonstances légitimes vous pouvez vous sentir travailler gratuitement vaut votre temps et la publicité que vous offrez à une marque. Cela peut être comparé à un stage non rémunéré. Si vous êtes stagiaire et que vous avez une excellente expérience de travail, alors c'est une entreprise précieuse. Si vous êtes stagiaire et que vous ne versez que du café et que vous livrez ...