Accueil Finances personnelles Qu'est-ce que Hadoop? - les nuls

Qu'est-ce que Hadoop? - les nuls

Vidéo: Hadoop, c'est quoi ? 2025

Vidéo: Hadoop, c'est quoi ? 2025
Anonim

Hadoop est un outil de traitement de données open-source développé par Apache Software Foundation. Hadoop est actuellement le programme incontournable pour gérer d'énormes volumes et variétés de données, car il a été conçu pour rendre l'informatique à grande échelle plus abordable et plus flexible. Avec l'arrivée de Hadoop, le traitement de masse de données a été introduit pour significativement plus de personnes et plus d'organisations.

Hadoop peut vous offrir une excellente solution pour gérer, traiter et grouper des flux de masse de données structurées, semi-structurées et non structurées. En configurant et en déployant Hadoop, vous bénéficiez d'un moyen relativement abordable de commencer à utiliser et à extraire des informations de toutes les données de votre organisation, plutôt que de continuer à dépendre uniquement de cet ensemble de données transactionnel installé dans un ancien entrepôt de données.

Hadoop est l'un des programmes les plus populaires disponibles pour les besoins informatiques à grande échelle. Hadoop fournit une couche de mappage et de réduction capable de gérer les exigences de traitement de données de la plupart des projets de données volumineuses.

Parfois, les données deviennent trop volumineuses et rapides pour que même Hadoop puisse les gérer. Dans ces cas, les organisations se tournent plutôt vers des déploiements MapReduce plus personnalisés.

Hadoop utilise des clusters de matériel de base pour stocker des données. Le matériel de chaque cluster est connecté et ce matériel est composé de serveurs - serveurs génériques peu coûteux et peu performants qui offrent de puissantes capacités de calcul lorsqu'ils sont exécutés en parallèle sur un cluster partagé. Ces serveurs de produits sont également appelés nœuds . L'informatique marchandisée réduit considérablement les coûts liés à la manipulation et au stockage des données volumineuses.

Hadoop est composé des deux composants suivants:

  • Un framework de traitement distribué: Hadoop utilise Hadoop MapReduce comme framework de traitement distribué. Encore une fois, un cadre de traitement distribué est un cadre puissant où les tâches de traitement sont réparties entre des grappes de nœuds, de sorte que de gros volumes de données peuvent être traités très rapidement dans l'ensemble du système.

  • Un système de fichiers distribué: Hadoop utilise le système de fichiers distribués Hadoop (HDFS) comme système de fichiers distribué.

Les charges de travail des applications qui s'exécutent sur Hadoop sont réparties entre les nœuds du cluster Hadoop, puis la sortie est stockée sur le système HDFS. Le cluster Hadoop peut être composé de milliers de nœuds. Pour réduire les coûts des processus d'entrée / sortie (E / S), les travaux Hadoop MapReduce sont exécutés le plus près possible des données.

Cela signifie que les processeurs de tâches réduites sont positionnés le plus près possible des données de tâche de carte sortante qui doivent être traitées. Cette conception facilite le partage des exigences de calcul dans le traitement des données volumineuses.

Hadoop prend également en charge l'organisation hiérarchique. Certains de ses nœuds sont classés en tant que nœuds maîtres et d'autres sont classés en tant qu'esclaves. Le service maître, connu sous le nom JobTracker , est conçu pour contrôler plusieurs services esclaves. Les services esclaves (également appelés TaskTrackers ) sont distribués à chaque nœud. JobTracker contrôle les TaskTrackers et leur affecte des tâches Hadoop MapReduce.

Dans une version plus récente de Hadoop, connue sous le nom de Hadoop 2, un gestionnaire de ressources appelé Hadoop YARN a été ajouté. En ce qui concerne MapReduce dans Hadoop, YARN agit comme un système intégré qui effectue des fonctions de gestion des ressources et d'ordonnancement.

Hadoop traite les données par lot. Par conséquent, si vous travaillez avec des données de streaming en temps réel, vous ne pourrez pas utiliser Hadoop pour gérer vos problèmes de big data. Cela dit, il est très utile pour résoudre de nombreux autres types de problèmes de big data.

Qu'est-ce que Hadoop? - les nuls

Le choix des éditeurs

Comment envoyer une vidéo et des photos avec Flip Video - Dummies

Comment envoyer une vidéo et des photos avec Flip Video - Dummies

Après avoir pris photos et vidéos d'événements dans votre vie avec votre caméra Flip Video, vous pouvez les envoyer par e-mail à vos amis et aux membres de votre famille. Le partage de films et d'images que vous capturez et créez en envoyant un message e-mail vous permet de toucher et de toucher quelqu'un avec vos créations, même si vous êtes à proximité ...

Comment enregistrer le son séparément pour votre film numérique - Les mannequins

Comment enregistrer le son séparément pour votre film numérique - Les mannequins

Ont parfois besoin d'un réalisateur enregistrer le son en utilisant un appareil séparé de l'appareil photo, enregistrer le son séparément, puis synchroniser le son sur la vidéo plus tard, lors de l'édition. Habituellement, la raison en est d'augmenter la qualité du son enregistré car de nombreuses caméras n'enregistrent pas le son aussi bien que ...

Comment enregistrer une vidéo avec un caméscope Flip - Les nuls

Comment enregistrer une vidéo avec un caméscope Flip - Les nuls

Enregistrant des vidéos avec votre caméra Flip est comme facile comme 1-2-3 (et 4). Avant d'enregistrer une vidéo, vérifiez les indicateurs d'état de votre Flip pour vous assurer que votre caméra est complètement chargée et qu'elle a suffisamment de temps d'enregistrement pour capturer la vidéo que vous voulez filmer. Pour vérifier le niveau de charge de la batterie de votre Flip (ou ...

Le choix des éditeurs

Mot Raccourcis des symboles 2016 - des mannequins

Mot Raccourcis des symboles 2016 - des mannequins

Dans Word 2016 vous pouvez insérer des symboles communs en utilisant ces raccourcis clavier. Utilisez ces raccourcis clavier au lieu de la commande Insérer → Symbole pour insérer des symboles typographiques communs. Symbole Raccourci Tableau de bord Alt + Ctrl + signe moins En tableau Ctrl + signe moins Copyright Alt + Ctrl + C Marque déposée Alt + Ctrl + R Marque Alt + Ctrl + T Ellipsis Alt + Ctrl + période

Mot Raccourcis des symboles 2016 - mannequins

Mot Raccourcis des symboles 2016 - mannequins

En fonction de la manière dont vous choisissez d'utiliser Word 2016, vous risquez de devoir faire face pour un symbole spécial. Avec ces raccourcis clavier, vous pouvez insérer des symboles communs dans Word 2016. Utilisez ces raccourcis clavier au lieu de la commande Insérer → Symbole pour insérer des symboles typographiques communs. Symbole Raccourci Tableau de bord Alt + Ctrl + signe moins En tiret ...

Mot Trucs et astuces pour les tables 2013 - mannequins

Mot Trucs et astuces pour les tables 2013 - mannequins

Dans Word 2013, le texte se déverse dans un tableau sur une cellule base de la cellule. Vous pouvez taper un mot, une phrase ou même un paragraphe. Tout ce texte reste dans la cellule, bien que la cellule change de taille pour accueillir de plus grandes quantités de texte. Vous pouvez mettre en forme la cellule d'une table comme n'importe quel paragraphe de Word, en ajoutant même des marges ...

Le choix des éditeurs

Sexe For Dummies Cheat Sheet - les nuls

Sexe For Dummies Cheat Sheet - les nuls

Que vous vous considériez comme un Don Juan, une Lady Chatterly, ou un novice sexuel , tout le monde peut tirer le meilleur parti du sexe avec un peu plus de connaissances. Vous devriez savoir que les préliminaires sont quelque chose que vous devriez prendre en considération avec chaque interaction que vous et votre partenaire avez, ainsi que la façon de garder les choses ...

Mots et significations liés à la ménopause - mannequins

Mots et significations liés à la ménopause - mannequins

Bien que ce soit loin d'être une liste complète des termes que vous pourriez entendre être utilisé lorsque la ménopause est discutée, les cinq termes essentiels suivants devraient vous aider à comprendre les bases. HRT (hormonothérapie substitutive): Un traitement pour compléter les hormones que vous perdez pendant la ménopause - généralement une combinaison d'œstrogènes, ...

Symptômes qui indiquent que la ménopause est proche - mannequins

Symptômes qui indiquent que la ménopause est proche - mannequins

La plupart des femmes commencent à éprouver des symptômes de ménopause déséquilibrés, alors qu'ils ont encore des règles. Si vous ressentez un ou plusieurs des symptômes suivants, consultez votre médecin - vous pouvez être en train d'aborder le changement. Peau sèche ou cheveux Pensée floue (difficulté à se concentrer) Flutters du cœur (battements de cœur rapides) ...