Commandes d'administration hadoop - mannequins

Partie de Hadoop For Dummies Cheat Sheet

Tout administrateur Hadoop digne de ce nom doit maîtriser un ensemble complet de commandes pour l'administration des clusters. La liste suivante résume les commandes les plus importantes, en indiquant ce que la commande fait ainsi que la syntaxe et les exemples. Connaissez-les, et vous avancerez un long chemin sur le chemin de la sagesse Hadoop.

• équilibreur : Exécute l'utilitaire d'équilibrage de cluster. La valeur de seuil spécifiée, qui représente un pourcentage de la capacité du disque, est utilisée pour remplacer la valeur de seuil par défaut (10%). Pour arrêter le processus de rééquilibrage, appuyez sur Ctrl + C.

  Syntaxe: équilibreur hadoop [-threshold]

  Exemple: balancier hadoop - seuil 20

• daemonlog : Obtient ou définit le niveau de journalisation pour chaque démon (également connu sous le nom de service). Se connecte à // hôte: port / logLevel? log = nomme et imprime ou définit le niveau de journalisation du démon qui est en cours d'exécution sur l'hôte: port. Les démons Hadoop génèrent des fichiers journaux qui vous aident à déterminer ce qui se passe sur le système et vous pouvez utiliser la commande daemonlog pour modifier temporairement le niveau de journalisation d'un composant Hadoop lorsque vous déboguez le système. La modification devient effective lorsque le démon redémarre.

  Syntaxe: hadoop daemonlog -getlevel; hadoop daemonlog -setlevel

  Exemple: hadoop daemonlog -getlevel 10. 250. 1. 15: 50030 org. apache. hadoop. mapred. JobTracker; hadoop daemonlog -setlevel 10. 250. 1. 15: 50030 org. apache. hadoop. mapred. JobTracker DEBUG

• datanode : Exécute le service HDFS DataNode, qui coordonne le stockage sur chaque nœud esclave. Si vous spécifiez -rollback, le DataNode est restauré à la version précédente. Arrêtez le DataNode et distribuez la version précédente de Hadoop avant d'utiliser cette option.

  Syntaxe: hadoop datanode [-rollback]

  Exemple: hadoop datanode -rollback

• dfsadmin : Exécute un certain nombre de fichiers Hadoop distribués Opérations administratives système (HDFS). Utilisez l'option -help pour afficher la liste de toutes les options prises en charge. Les options génériques sont un ensemble commun d'options supportées par plusieurs commandes.

  Syntaxe: hadoop dfsadmin [OPTIONS_GENERIQUES] [-report] [-safemode enter | laisser | obtenir | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave nomfichier] [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]]

• mradmin : Exécute un certain nombre de MapReduce administrative opérations. Utilisez l'option -help pour afficher la liste de toutes les options prises en charge.Encore une fois, les options génériques sont un ensemble commun d'options supportées par plusieurs commandes. Si vous spécifiez -refreshServiceAcl, recharge le fichier de stratégie d'autorisation au niveau du service (JobTracker recharge le fichier de stratégie d'autorisation); -refreshQueues recharge les listes de contrôle d'accès à la file d'attente (ACL) et l'état (JobTracker recharge le fichier mapred-queues.xml); -refreshNodes actualise les informations sur les hôtes dans JobTracker; -refreshUserToGroupsMappings actualise les mappages utilisateur-groupe; -refreshSuperUserGroupsConfiguration actualise les mappages de groupes de proxy de superutilisateur; et -help [cmd] affiche l'aide pour la commande donnée ou pour toutes les commandes si aucune n'est spécifiée.

  hadoop mradmin [OPTIONS_GENERIQUES]: hadoop mradmin -help -refreshNodes

  jobtracker :

• Exécute le noeud MapReduce JobTracker, qui coordonne le système de traitement de données pour Hadoop. Si vous spécifiez -dumpConfiguration, la configuration utilisée par JobTracker et la configuration de la file d'attente au format JSON sont écrites sur la sortie standard.

  Syntaxe:
  hadoop jobtracker [-dumpConfiguration]

  Exemple: hadoop jobtracker -dumpConfiguration

  nomenclature :

• Exécute le NameNode, qui coordonne le stockage pour l'ensemble du cluster Hadoop. Si vous spécifiez -format, NameNode est démarré, formaté, puis arrêté; avec -upgrade, NameNode démarre avec l'option de mise à niveau après la distribution d'une nouvelle version de Hadoop; Avec -rollback, le NameNode est restauré à la version précédente (n'oubliez pas d'arrêter le cluster et de distribuer la version précédente de Hadoop avant d'utiliser cette option); avec -finalize, l'état précédent du système de fichiers est supprimé, la mise à niveau la plus récente devient permanente, l'annulation n'est plus disponible et le NameNode est arrêté; enfin, avec -importCheckpoint, une image est chargée à partir du répertoire de point de contrôle (tel que spécifié par la propriété fs. checkpoint. dir) et sauvegardée dans le répertoire courant.

  Syntaxe:
  hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finaliser] | [-importCheckpoint]

  Exemple: hadoop namenode -finalize

  Nœud secondaire :

• Exécute le NameNode secondaire. Si vous spécifiez -checkpoint, un point de contrôle sur le NameNode secondaire est exécuté si la taille du EditLog (un journal de transactions qui enregistre chaque modification apportée aux métadonnées du système de fichiers) est supérieure ou égale à fs. point de contrôle. Taille; spécifiez -force et un point de contrôle est effectué indépendamment de la taille EditLog; spécifiez -geteditsize et la taille EditLog est imprimée. Syntaxe: hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

  Exemple: hadoop secondarynamenode -geteditsize

  tasktracker :

• Exécute un nœud MapReduce TaskTracker. Syntaxe: hadoop tasktracker

  Exemple: hadoop tasktracker