Accueil Finances personnelles De la phase Map du flux applicatif MapReduce de Hadoop - mannequins

De la phase Map du flux applicatif MapReduce de Hadoop - mannequins

Vidéo: Hadoop Processing Frameworks 2025

Vidéo: Hadoop Processing Frameworks 2025
Anonim

Une application MapReduce traite les données dans les divisions d'entrée sur une base enregistrement par enregistrement et chaque enregistrement est compris par MapReduce comme une valeur / clé paire. Une fois les divisions d'entrée calculées, les tâches de mappeur peuvent commencer à les traiter, c'est-à-dire juste après que la fonction de planification du gestionnaire de ressources leur a assigné leurs ressources de traitement. (Dans Hadoop 1, JobTracker affecte des tâches de mappage à des emplacements de traitement spécifiques.)

La tâche de mappeur elle-même traite son enregistrement d'entrée séparé à la fois - dans la figure, cet enregistrement isolé est représenté par la paire clé / valeur. Dans le cas de nos données de vol, lorsque les divisions d'entrée sont calculées (en utilisant la méthode de traitement de fichiers par défaut pour les fichiers texte), l'hypothèse est que chaque ligne du fichier texte est un enregistrement unique.

Pour chaque enregistrement, le texte de la ligne elle-même représente la valeur et le décalage d'octet de chaque ligne à partir du début de la division est considéré comme la clé.

Vous vous demandez peut-être pourquoi le numéro de ligne n'est pas utilisé à la place du décalage d'octet. Lorsque vous considérez qu'un fichier texte très volumineux est décomposé en plusieurs blocs de données individuels et qu'il est traité en autant de divisions, le numéro de ligne est un concept risqué.

Le nombre de lignes dans chaque division varie, il serait donc impossible de calculer le nombre de lignes précédant celui en cours de traitement. Cependant, avec le décalage d'octets, vous pouvez être précis, car chaque bloc a un nombre fixe d'octets.

Lorsqu'une tâche de mappage traite chaque enregistrement, elle génère une nouvelle paire clé / valeur: La clé et la valeur ici peuvent être complètement différentes de la paire d'entrées. La sortie de la tâche de mappage est la collection complète de toutes ces paires clé / valeur.

Avant d'écrire le fichier de sortie final pour chaque tâche de mappage, la sortie est partitionnée en fonction de la clé et triée. Ce partitionnement signifie que toutes les valeurs de chaque clé sont regroupées.

Dans le cas de l'exemple d'application relativement basique, il n'y a qu'un seul réducteur, de sorte que toute la sortie de la tâche de mappage est écrite dans un seul fichier. Mais dans les cas avec plusieurs réducteurs, chaque tâche de mappeur peut également générer plusieurs fichiers de sortie.

La décomposition de ces fichiers de sortie est basée sur la clé de partitionnement. Par exemple, s'il n'y a que trois clés de partitionnement distinctes pour les tâches du mappeur et que vous avez configuré trois réducteurs pour le travail, il y aura trois fichiers de sortie du mappeur. Dans cet exemple, si une tâche de mappeur particulière traite une division d'entrée et qu'elle génère une sortie avec deux des trois clés, il n'y aura que deux fichiers de sortie.

Toujours compresser les fichiers de sortie de vos tâches de mappeur. Le plus grand avantage ici est dans les gains de performance, car l'écriture de fichiers de sortie plus petits minimise le coût inévitable du transfert de la sortie du mappeur vers les nœuds où les réducteurs sont en cours d'exécution.

Le partitionneur par défaut est plus qu'adéquat dans la plupart des situations, mais parfois vous pouvez vouloir personnaliser la façon dont les données sont partitionnées avant qu'elles ne soient traitées par les réducteurs. Par exemple, vous souhaiterez peut-être trier les données de vos ensembles de résultats en fonction de la clé et de leurs valeurs, appelées tri secondaire .

Pour ce faire, vous pouvez remplacer le partitionneur par défaut et implémenter le vôtre. Cependant, ce processus nécessite quelques précautions, car vous devez vous assurer que le nombre d'enregistrements dans chaque partition est uniforme. (Si un réducteur doit traiter beaucoup plus de données que les autres réducteurs, vous attendez que votre travail MapReduce se termine alors que le réducteur surchargé surcharge son ensemble de données démesurément grand.)

En utilisant des fichiers intermédiaires de taille uniforme, vous peut mieux tirer parti du parallélisme disponible dans le traitement MapReduce.

De la phase Map du flux applicatif MapReduce de Hadoop - mannequins

Le choix des éditeurs

Pour les seniors: Comment travailler avec Windows dans Microsoft Windows - les nuls

Pour les seniors: Comment travailler avec Windows dans Microsoft Windows - les nuls

Windows, avec un W majuscule, tire son nom de sa caractéristique principale: Windows, avec un w minuscule. Se familiariser avec Windows signifie apprendre à ouvrir, fermer, redimensionner, déplacer et basculer entre les fenêtres, ce qui est la clé pour jongler avec succès avec plusieurs activités. Chaque programme que vous exécutez occupe sa propre fenêtre. Une fenêtre peut occuper une partie de ...

Comment accepter ou rejeter les cookies dans Safari - dummies

Comment accepter ou rejeter les cookies dans Safari - dummies

Un cookie est un petit fichier qu'un site Web enregistre automatiquement sur le disque dur de votre Mac. Il contient des informations, telles que vos préférences ou votre date de naissance, que le site utilisera lors de vos prochaines visites. Dans Mac OS X Snow Leopard, Safari vous permet de choisir d'accepter ou non tous les cookies ...

Le choix des éditeurs

Construire des boîtes et des lignes Bézier dans QuarkXPress - des nuls

Construire des boîtes et des lignes Bézier dans QuarkXPress - des nuls

Pour créer une boîte ou une ligne dans QuarkXPress plus complexe qu'un simple rectangle, ovale ou starburst, vous entrez dans le domaine du chemin de Bézier. Si vous avez utilisé l'outil Plume dans Adobe Illustrator ou Photoshop, vous comprenez déjà les chemins de Bézier. Il faut un peu de pratique et un esprit détendu ...

Création d'un rapport avec Crystal Reports 10 - témoins

Création d'un rapport avec Crystal Reports 10 - témoins

Lorsque vous démarrez Crystal Reports 10, généralement l'une des trois choses suivantes: créer un rapport, modifier un rapport ou exécuter un rapport sur les données de votre base de données. Les rapports prennent des données à partir d'une base de données, les traitent, les formatent et les affichent ensuite sur une imprimante, un écran d'ordinateur ou un site Web. Crystal Reports ...

Traitant des commentaires Javadoc dans Eclipse - mannequins

Traitant des commentaires Javadoc dans Eclipse - mannequins

Lorsque vous utilisez Eclipse pour écrire du code Java, n'oubliez pas de éditez les commentaires de Javadoc (les choses qui commencent par / **). Vous pouvez ajouter des informations utiles lorsque vous modifiez les commentaires Javadoc et lorsque vous les modifiez, l'aide au code d'Eclipse propose des suggestions. N'oubliez pas ces astuces lorsque vous modifiez vos commentaires Javadoc: Ajouter un commentaire Javadoc: ...

Le choix des éditeurs

Les connexions cachées sur le Nikon D5600 - les nuls

Les connexions cachées sur le Nikon D5600 - les nuls

Ouvrent les couvercles sur les côtés gauche et droit du Nikon D5600 caméra, et vous verrez plusieurs ports de connexions cachées. Les ports de connexion suivants sont indiqués sur cette image: Terminal d'accessoires: ce terminal accepte les accessoires suivants: câble déclencheur à distance Nikon MC-DC2; Télécommandes sans fil WR-1 et WR-R10; et les unités GPS GP-1 / GP-1A. I ...

Les connexions cachées sur votre Nikon D5200 - les nuls

Les connexions cachées sur votre Nikon D5200 - les nuls

ÉParpillés sur l'extérieur de votre appareil photo sont nombreuses commandes que vous utilisez pour changer d'image -prend des paramètres, revoir et modifier vos photos, et effectuer diverses autres opérations. Caché sous le couvercle sur le côté gauche de la caméra, vous trouverez les quatre ports de connexion suivants, étiquetés dans cette figure: Borne accessoire: Vous pouvez brancher le Nikon en option ...

Des boutons et autres commandes du Nikon D7500 - mannequins

Des boutons et autres commandes du Nikon D7500 - mannequins

C'est génial d'avoir une carte pour le boutons et commandes sur votre appareil photo, mais ce n'est pas beaucoup d'aide si vous ne pouvez pas vous rappeler quel bouton appuyer sur quand (et pourquoi). Alors, voici un aperçu des fonctions des contrôles les plus importants. (Certains contrôles ont des fonctions supplémentaires pendant certaines opérations, mais la table ...