Accueil Finances personnelles Qu'est-ce que Hadoop? - les nuls

Qu'est-ce que Hadoop? - les nuls

Vidéo: Hadoop, c'est quoi ? 2025

Vidéo: Hadoop, c'est quoi ? 2025
Anonim

Hadoop est un outil de traitement de données open-source développé par Apache Software Foundation. Hadoop est actuellement le programme incontournable pour gérer d'énormes volumes et variétés de données, car il a été conçu pour rendre l'informatique à grande échelle plus abordable et plus flexible. Avec l'arrivée de Hadoop, le traitement de masse de données a été introduit pour significativement plus de personnes et plus d'organisations.

Hadoop peut vous offrir une excellente solution pour gérer, traiter et grouper des flux de masse de données structurées, semi-structurées et non structurées. En configurant et en déployant Hadoop, vous bénéficiez d'un moyen relativement abordable de commencer à utiliser et à extraire des informations de toutes les données de votre organisation, plutôt que de continuer à dépendre uniquement de cet ensemble de données transactionnel installé dans un ancien entrepôt de données.

Hadoop est l'un des programmes les plus populaires disponibles pour les besoins informatiques à grande échelle. Hadoop fournit une couche de mappage et de réduction capable de gérer les exigences de traitement de données de la plupart des projets de données volumineuses.

Parfois, les données deviennent trop volumineuses et rapides pour que même Hadoop puisse les gérer. Dans ces cas, les organisations se tournent plutôt vers des déploiements MapReduce plus personnalisés.

Hadoop utilise des clusters de matériel de base pour stocker des données. Le matériel de chaque cluster est connecté et ce matériel est composé de serveurs - serveurs génériques peu coûteux et peu performants qui offrent de puissantes capacités de calcul lorsqu'ils sont exécutés en parallèle sur un cluster partagé. Ces serveurs de produits sont également appelés nœuds . L'informatique marchandisée réduit considérablement les coûts liés à la manipulation et au stockage des données volumineuses.

Hadoop est composé des deux composants suivants:

  • Un framework de traitement distribué: Hadoop utilise Hadoop MapReduce comme framework de traitement distribué. Encore une fois, un cadre de traitement distribué est un cadre puissant où les tâches de traitement sont réparties entre des grappes de nœuds, de sorte que de gros volumes de données peuvent être traités très rapidement dans l'ensemble du système.

  • Un système de fichiers distribué: Hadoop utilise le système de fichiers distribués Hadoop (HDFS) comme système de fichiers distribué.

Les charges de travail des applications qui s'exécutent sur Hadoop sont réparties entre les nœuds du cluster Hadoop, puis la sortie est stockée sur le système HDFS. Le cluster Hadoop peut être composé de milliers de nœuds. Pour réduire les coûts des processus d'entrée / sortie (E / S), les travaux Hadoop MapReduce sont exécutés le plus près possible des données.

Cela signifie que les processeurs de tâches réduites sont positionnés le plus près possible des données de tâche de carte sortante qui doivent être traitées. Cette conception facilite le partage des exigences de calcul dans le traitement des données volumineuses.

Hadoop prend également en charge l'organisation hiérarchique. Certains de ses nœuds sont classés en tant que nœuds maîtres et d'autres sont classés en tant qu'esclaves. Le service maître, connu sous le nom JobTracker , est conçu pour contrôler plusieurs services esclaves. Les services esclaves (également appelés TaskTrackers ) sont distribués à chaque nœud. JobTracker contrôle les TaskTrackers et leur affecte des tâches Hadoop MapReduce.

Dans une version plus récente de Hadoop, connue sous le nom de Hadoop 2, un gestionnaire de ressources appelé Hadoop YARN a été ajouté. En ce qui concerne MapReduce dans Hadoop, YARN agit comme un système intégré qui effectue des fonctions de gestion des ressources et d'ordonnancement.

Hadoop traite les données par lot. Par conséquent, si vous travaillez avec des données de streaming en temps réel, vous ne pourrez pas utiliser Hadoop pour gérer vos problèmes de big data. Cela dit, il est très utile pour résoudre de nombreux autres types de problèmes de big data.

Qu'est-ce que Hadoop? - les nuls

Le choix des éditeurs

Conventions de dénomination pour Ruby on Rails - mannequins

Conventions de dénomination pour Ruby on Rails - mannequins

Vous utilisez Ruby on Rails pour créer un site Web application ou application de base de données Web, ce qui est très intelligent de votre part. En fonction de ce que vous utilisez (une application, une relation un-à-plusieurs ou une relation plusieurs-à-plusieurs), vous utilisez différentes variantes des protocoles d'attribution de noms Rails, qui sont expliquées dans les sections suivantes. Ruby Naming for ...

En orbite, panoramique et zoom dans la vue 3D de Blender - mannequins

En orbite, panoramique et zoom dans la vue 3D de Blender - mannequins

En essayant de naviguer dans un espace en trois dimensions à travers un écran bidimensionnel comme un écran d'ordinateur, vous ne pouvez pas interagir avec cet espace 3D virtuel exactement comme vous le feriez dans le monde réel, ou espace de vie. La meilleure façon de visualiser le travail en 3D à travers un programme comme Blender est d'imaginer la vue 3D comme vos yeux ...

Déplacement de clips sur la timeline dans Final Cut Pro HD - Ficelles

Déplacement de clips sur la timeline dans Final Cut Pro HD - Ficelles

Final Cut Pro HD Timeline vous permet d'organiser tous vos clips vidéo et audio afin qu'ils racontent l'histoire que vous voulez raconter. Pour comprendre le fonctionnement de la Timeline, imaginez-la comme une page de partitions, mais plutôt que de placer des notes de musique de différentes durées (noires, demi-notes, ...

Le choix des éditeurs

Contrôle et modification de l'associativité des dimensions dans AutoCAD - Dummies

Contrôle et modification de l'associativité des dimensions dans AutoCAD - Dummies

Lorsque vous ajoutez des dimensions en sélectionnant des objets ou en utilisant l'accrochage aux objets Pour sélectionner des points sur les objets, AutoCAD crée normalement des dimensions associatives, qui sont connectées aux objets et se déplacent avec eux. C'est le cas dans les nouveaux dessins créés à l'origine dans toute version d'AutoCAD à partir de 2002. Si vous ...

Copie de styles de cote existants dans AutoCAD 2008 - mannequins

Copie de styles de cote existants dans AutoCAD 2008 - mannequins

Si vous avez la chance de travailler dans un bureau Quelqu'un a mis en place des styles de cotes qui conviennent à votre secteur d'activité et à votre projet. Vous pouvez le copier et ainsi éviter de devoir créer vos propres styles de cote. (Un style de cote - ou dimstyle pour faire court - est une collection de paramètres de dessin appelée dimension ...

En choisissant un style d'édition AutoCAD -

En choisissant un style d'édition AutoCAD -

Dans AutoCAD vous passez généralement plus de temps à éditer que dessiner des objets. C'est en partie parce que le processus de conception et de rédaction est, par nature, sujet à des changements, et aussi parce que AutoCAD vous permet de modifier facilement les objets proprement. AutoCAD propose trois styles d'édition: Commande-première Sélection-première Objet-direct (poignée) AutoCAD fait référence à l'édition de commandes comme verbe-nom ...

Le choix des éditeurs

Praxis Examen d'éducation élémentaire - Présentations orales - mannequins

Praxis Examen d'éducation élémentaire - Présentations orales - mannequins

Parce que les élèves doivent généralement donner des présentations orales en classe , vous rencontrerez probablement une question sur ce sujet dans l'examen Praxis Elementary Education. Plus formelles que les discussions de groupe, les présentations orales ont leurs propres règles pour le conférencier. Lorsque vous donnez une présentation en classe, il y a plusieurs ...

Praxis Examen d'éducation élémentaire - Littérature et texte d'information - mannequins

Praxis Examen d'éducation élémentaire - Littérature et texte d'information - mannequins

L'examen Praxis Elementary Education sur la littérature et le texte d'information, c'est-à-dire la fiction et la non-fiction. Vous devrez donc vous familiariser avec les différents genres d'écriture. La compréhension du texte est un processus qui se produit au fil du temps.

Praxis Examen d'éducation élémentaire - Connaissance phonologique - mannequins

Praxis Examen d'éducation élémentaire - Connaissance phonologique - mannequins

Vous rencontrerez probablement une ou deux questions qui impliquent des questions phonologiques sensibilisation à l'examen Praxis Elementary Education. La conscience phonologique est une compétence large impliquant la reconnaissance de son. Les lecteurs débutants commencent par apprendre les sons individuels, ou phonèmes, dans des mots parlés. Par exemple, le mot chat a trois phonèmes: / c / / a / / t /. Un lecteur débutant apprend ...