Vidéo: Hadoop&cie - 01.1 - YARN 2024
Le composant principal de YARN (Yet Another Resource Negotiator) est le Resource Manager, qui gouverne toutes les ressources de traitement de données. dans le cluster Hadoop. En termes simples, le gestionnaire de ressources est un planificateur dédié qui affecte des ressources aux applications demandeuses. Ses seules tâches consistent à conserver une vue globale de toutes les ressources du cluster, à gérer les demandes de ressources, à planifier la demande, puis à affecter des ressources à l'application qui la demande.
Le gestionnaire de ressources, composant essentiel d'un cluster Hadoop, doit s'exécuter sur un nœud maître dédié.
Même si le gestionnaire de ressources est essentiellement un planificateur pur, il repose sur des modules de planificateur pour la logique de planification réelle. Vous pouvez choisir parmi les mêmes planificateurs disponibles dans Hadoop 1, qui ont tous été mis à jour pour fonctionner avec YARN: FIFO (premier entré, premier sorti), Capacity ou Fair Share.
Le gestionnaire de ressources est totalement indépendant des applications et des frameworks. En d'autres termes, il n'a aucun chien dans ces chasses. Il n'a pas de concept de mappage ou de réduction des tâches, il ne suit pas la progression des tâches ou de leurs tâches individuelles et il ne gère pas les basculements.
En résumé, le gestionnaire de ressources est complètement différent du démon JobTracker pour les environnements Hadoop 1. Ce que le gestionnaire de ressources fait, c'est planifier des charges de travail, et il fait bien ce travail.
Ce haut degré de séparation - se concentrant sur un aspect tout en ignorant tout le reste - est exactement ce qui rend YARN beaucoup plus évolutif, capable de fournir une plate-forme générique pour les applications, et capable de supporter > cluster Hadoop multi-locataires - multi-locataire, car différentes unités de gestion peuvent partager le même cluster Hadoop.
