Vidéo: MOOC BigData: Procesamiento con MapReduce I 2024
Partie de Big Data For Dummies Cheat Sheet
Hadoop, un framework logiciel open source, utilise HDFS (le système de fichiers distribué Hadoop) et MapReduce pour analyser des données volumineuses sur des grappes de produits le matériel, c'est-à-dire dans un environnement informatique réparti.
Le système de fichiers distribués Hadoop (HDFS) a été développé pour permettre aux entreprises de gérer plus facilement d'énormes volumes de données de manière simple et pragmatique. Hadoop permet de décomposer de gros problèmes en éléments plus petits afin que l'analyse puisse être effectuée rapidement et à moindre coût. HDFS est une approche polyvalente, résiliente et en cluster pour gérer les fichiers dans un environnement de données volumineuses.
HDFS n'est pas la destination finale des fichiers. Il s'agit plutôt d'un «service» de données qui offre un ensemble unique de capacités nécessaires lorsque les volumes de données et la vélocité sont élevés.
MapReduce est un framework logiciel qui permet aux développeurs d'écrire des programmes capables de traiter des quantités massives de données non structurées en parallèle à travers un groupe distribué de processeurs. MapReduce a été conçu par Google comme un moyen d'exécuter efficacement un ensemble de fonctions contre une grande quantité de données en mode batch.
Le composant "map" distribue le ou les problèmes de programmation sur un grand nombre de systèmes et gère le placement des tâches de manière à équilibrer la charge et à gérer la récupération des défaillances. Une fois le calcul distribué terminé, une autre fonction appelée "réduire" regroupe tous les éléments pour fournir un résultat. Un exemple d'utilisation de MapReduce serait de déterminer combien de pages d'un livre sont écrites dans chacune des 50 langues différentes.
