Accueil Finances personnelles Qu'est-ce que Hadoop? - les nuls

Qu'est-ce que Hadoop? - les nuls

Vidéo: Hadoop, c'est quoi ? 2025

Vidéo: Hadoop, c'est quoi ? 2025
Anonim

Hadoop est un outil de traitement de données open-source développé par Apache Software Foundation. Hadoop est actuellement le programme incontournable pour gérer d'énormes volumes et variétés de données, car il a été conçu pour rendre l'informatique à grande échelle plus abordable et plus flexible. Avec l'arrivée de Hadoop, le traitement de masse de données a été introduit pour significativement plus de personnes et plus d'organisations.

Hadoop peut vous offrir une excellente solution pour gérer, traiter et grouper des flux de masse de données structurées, semi-structurées et non structurées. En configurant et en déployant Hadoop, vous bénéficiez d'un moyen relativement abordable de commencer à utiliser et à extraire des informations de toutes les données de votre organisation, plutôt que de continuer à dépendre uniquement de cet ensemble de données transactionnel installé dans un ancien entrepôt de données.

Hadoop est l'un des programmes les plus populaires disponibles pour les besoins informatiques à grande échelle. Hadoop fournit une couche de mappage et de réduction capable de gérer les exigences de traitement de données de la plupart des projets de données volumineuses.

Parfois, les données deviennent trop volumineuses et rapides pour que même Hadoop puisse les gérer. Dans ces cas, les organisations se tournent plutôt vers des déploiements MapReduce plus personnalisés.

Hadoop utilise des clusters de matériel de base pour stocker des données. Le matériel de chaque cluster est connecté et ce matériel est composé de serveurs - serveurs génériques peu coûteux et peu performants qui offrent de puissantes capacités de calcul lorsqu'ils sont exécutés en parallèle sur un cluster partagé. Ces serveurs de produits sont également appelés nœuds . L'informatique marchandisée réduit considérablement les coûts liés à la manipulation et au stockage des données volumineuses.

Hadoop est composé des deux composants suivants:

  • Un framework de traitement distribué: Hadoop utilise Hadoop MapReduce comme framework de traitement distribué. Encore une fois, un cadre de traitement distribué est un cadre puissant où les tâches de traitement sont réparties entre des grappes de nœuds, de sorte que de gros volumes de données peuvent être traités très rapidement dans l'ensemble du système.

  • Un système de fichiers distribué: Hadoop utilise le système de fichiers distribués Hadoop (HDFS) comme système de fichiers distribué.

Les charges de travail des applications qui s'exécutent sur Hadoop sont réparties entre les nœuds du cluster Hadoop, puis la sortie est stockée sur le système HDFS. Le cluster Hadoop peut être composé de milliers de nœuds. Pour réduire les coûts des processus d'entrée / sortie (E / S), les travaux Hadoop MapReduce sont exécutés le plus près possible des données.

Cela signifie que les processeurs de tâches réduites sont positionnés le plus près possible des données de tâche de carte sortante qui doivent être traitées. Cette conception facilite le partage des exigences de calcul dans le traitement des données volumineuses.

Hadoop prend également en charge l'organisation hiérarchique. Certains de ses nœuds sont classés en tant que nœuds maîtres et d'autres sont classés en tant qu'esclaves. Le service maître, connu sous le nom JobTracker , est conçu pour contrôler plusieurs services esclaves. Les services esclaves (également appelés TaskTrackers ) sont distribués à chaque nœud. JobTracker contrôle les TaskTrackers et leur affecte des tâches Hadoop MapReduce.

Dans une version plus récente de Hadoop, connue sous le nom de Hadoop 2, un gestionnaire de ressources appelé Hadoop YARN a été ajouté. En ce qui concerne MapReduce dans Hadoop, YARN agit comme un système intégré qui effectue des fonctions de gestion des ressources et d'ordonnancement.

Hadoop traite les données par lot. Par conséquent, si vous travaillez avec des données de streaming en temps réel, vous ne pourrez pas utiliser Hadoop pour gérer vos problèmes de big data. Cela dit, il est très utile pour résoudre de nombreux autres types de problèmes de big data.

Qu'est-ce que Hadoop? - les nuls

Le choix des éditeurs

Découvrir les Méditations de Pleine Conscience Formelle - les nuls

Découvrir les Méditations de Pleine Conscience Formelle - les nuls

Pour approfondir votre conscience consciente, vous devez pratiquer une méditation de pleine conscience sur une base quotidienne. Familiarisez-vous avec certaines des médiations suivantes. Avec le temps, vous deviendrez plus conscient de votre vie quotidienne. Body Meditation Meditation - Cette méditation implique de passer environ une demi-heure, en prenant conscience de ...

Démystifier Dan Brown: Les Templiers Royaux - les nuls

Démystifier Dan Brown: Les Templiers Royaux - les nuls

Les Templiers sont presque aussi fictifs dans Dan Brown Le code Da Vinci comme les chevaliers Jedi sont dans Star Wars. Bien que le héros Robert Langdon hésite d'abord à élever les Templiers dans ses cours, parce que la mention même d'eux fait ressortir les amants du complot, Brown n'a aucun problème à les faire participer ...

Démystification des mythes communs sur la franc-maçonnerie - mannequins

Démystification des mythes communs sur la franc-maçonnerie - mannequins

La franc-maçonnerie moderne existe depuis 1717. Les premières contre-vérités concoctées sur l'Ordre sont apparues en impression à peu près en même temps. Les États-Unis étaient consumés par l'hystérie anti-maçonnique à la fin des années 1820, et l'Europe a fait de Mason-bashing un sport populaire pendant deux siècles, le liant souvent à la propagande antisémite. Internet n'a que ...

Le choix des éditeurs

À L'aide de la boîte de dialogue Configurer l'affichage dans PowerPoint 2011 pour Mac - témoins

À L'aide de la boîte de dialogue Configurer l'affichage dans PowerPoint 2011 pour Mac - témoins

Dans la boîte de dialogue Configurer l'affichage dans PowerPoint, cliquez sur le bouton Configurer l'affichage dans l'onglet Diaporama du ruban Office 2011 pour Mac, ou choisissez Diaporama → Configurer l'affichage dans la barre de menus. Dans les deux cas, la boîte de dialogue Configurer l'affichage polyvalent apparaît. Choisir un type de spectacle dans PowerPoint 2011 pour Mac ...

Enregistrement des fichiers dans Office 2011 pour Mac - témoins

Enregistrement des fichiers dans Office 2011 pour Mac - témoins

Enregistrement d'un fichier sur lequel vous travaillez dans Office 2011 pour Mac est aussi simple que de cliquer sur le bouton Enregistrer dans la barre d'outils Standard, en appuyant sur Commande-S ou en choisissant Fichier → Enregistrer. Si votre fichier a été enregistré précédemment, l'enregistrement du fichier remplace la copie existante du fichier par votre version mise à jour. Si votre fichier n'a pas ...

Fonctionnant avec les modèles de diapositives maîtres dans PowerPoint 2011 pour Mac - les nuls

Fonctionnant avec les modèles de diapositives maîtres dans PowerPoint 2011 pour Mac - les nuls

Dans Office 2011 pour Mac, l'ajout d'une nouvelle présentation de diapositive à une diapositive dans la vue Diapositive maître de PowerPoint 2011 est une tâche assez simple à effectuer. Suivez ces étapes pour commencer: Assurez-vous que vous êtes en mode Masque des diapositives. Choisissez Affichage → Maître → Masque de diapositives dans la barre de menus. Cliquez sur l'onglet Masque des diapositives du ruban, ...

Le choix des éditeurs

Sélectionnez PowerPoint 2007 Objects - dummies

Sélectionnez PowerPoint 2007 Objects - dummies

Avant de pouvoir modifier un objet PowerPoint 2007 sur une diapositive, vous devez le sélectionner. Dans les présentations PowerPoint, les objets peuvent être du texte, des graphiques, des images clipart, des formes, etc. Voici quelques instructions pour sélectionner les objets PowerPoint 2007: Objets texte: Pour sélectionner un objet texte PowerPoint 2007, déplacez le point d'insertion sur le texte qui ...

Définir le contour de la forme sur une diapositive PowerPoint 2007 - dummies

Définir le contour de la forme sur une diapositive PowerPoint 2007 - dummies

Le contrôle shapePoint de powerPoint vous permet style des objets de ligne ou la bordure pour les objets de forme solide sur vos diapositives PowerPoint. Le contrôle Shape Outline se trouve dans le groupe Styles de formes de l'onglet Outils de dessin. Vous pouvez modifier les paramètres suivants pour le contour: Couleur: Définit la couleur utilisée pour ...

PowerPoint 2016 pour les nuls Cheat Sheet - les nuls

PowerPoint 2016 pour les nuls Cheat Sheet - les nuls

PowerPoint 2016 est le logiciel de présentation le plus puissant disponible pour créer et éditer la diapositive montrer des présentations pour le travail, la maison ou l'école. PowerPoint 2016 offre un certain nombre de raccourcis clavier utiles pour effectuer des tâches rapidement. Voici quelques raccourcis pour le formatage PowerPoint commun, l'édition et les tâches de fichiers et de documents. De plus, après avoir créé votre chef-d'œuvre, vous ...