Vidéo: Hadoop, c'est quoi ? 2024
Hadoop est un outil de traitement de données open-source développé par Apache Software Foundation. Hadoop est actuellement le programme incontournable pour gérer d'énormes volumes et variétés de données, car il a été conçu pour rendre l'informatique à grande échelle plus abordable et plus flexible. Avec l'arrivée de Hadoop, le traitement de masse de données a été introduit pour significativement plus de personnes et plus d'organisations.
Hadoop peut vous offrir une excellente solution pour gérer, traiter et grouper des flux de masse de données structurées, semi-structurées et non structurées. En configurant et en déployant Hadoop, vous bénéficiez d'un moyen relativement abordable de commencer à utiliser et à extraire des informations de toutes les données de votre organisation, plutôt que de continuer à dépendre uniquement de cet ensemble de données transactionnel installé dans un ancien entrepôt de données.
Hadoop est l'un des programmes les plus populaires disponibles pour les besoins informatiques à grande échelle. Hadoop fournit une couche de mappage et de réduction capable de gérer les exigences de traitement de données de la plupart des projets de données volumineuses.
Parfois, les données deviennent trop volumineuses et rapides pour que même Hadoop puisse les gérer. Dans ces cas, les organisations se tournent plutôt vers des déploiements MapReduce plus personnalisés.
Hadoop utilise des clusters de matériel de base pour stocker des données. Le matériel de chaque cluster est connecté et ce matériel est composé de serveurs - serveurs génériques peu coûteux et peu performants qui offrent de puissantes capacités de calcul lorsqu'ils sont exécutés en parallèle sur un cluster partagé. Ces serveurs de produits sont également appelés nœuds . L'informatique marchandisée réduit considérablement les coûts liés à la manipulation et au stockage des données volumineuses.
Hadoop est composé des deux composants suivants:
-
Un framework de traitement distribué: Hadoop utilise Hadoop MapReduce comme framework de traitement distribué. Encore une fois, un cadre de traitement distribué est un cadre puissant où les tâches de traitement sont réparties entre des grappes de nœuds, de sorte que de gros volumes de données peuvent être traités très rapidement dans l'ensemble du système.
-
Un système de fichiers distribué: Hadoop utilise le système de fichiers distribués Hadoop (HDFS) comme système de fichiers distribué.
Les charges de travail des applications qui s'exécutent sur Hadoop sont réparties entre les nœuds du cluster Hadoop, puis la sortie est stockée sur le système HDFS. Le cluster Hadoop peut être composé de milliers de nœuds. Pour réduire les coûts des processus d'entrée / sortie (E / S), les travaux Hadoop MapReduce sont exécutés le plus près possible des données.
Cela signifie que les processeurs de tâches réduites sont positionnés le plus près possible des données de tâche de carte sortante qui doivent être traitées. Cette conception facilite le partage des exigences de calcul dans le traitement des données volumineuses.
Hadoop prend également en charge l'organisation hiérarchique. Certains de ses nœuds sont classés en tant que nœuds maîtres et d'autres sont classés en tant qu'esclaves. Le service maître, connu sous le nom JobTracker , est conçu pour contrôler plusieurs services esclaves. Les services esclaves (également appelés TaskTrackers ) sont distribués à chaque nœud. JobTracker contrôle les TaskTrackers et leur affecte des tâches Hadoop MapReduce.
Dans une version plus récente de Hadoop, connue sous le nom de Hadoop 2, un gestionnaire de ressources appelé Hadoop YARN a été ajouté. En ce qui concerne MapReduce dans Hadoop, YARN agit comme un système intégré qui effectue des fonctions de gestion des ressources et d'ordonnancement.
Hadoop traite les données par lot. Par conséquent, si vous travaillez avec des données de streaming en temps réel, vous ne pourrez pas utiliser Hadoop pour gérer vos problèmes de big data. Cela dit, il est très utile pour résoudre de nombreux autres types de problèmes de big data.
