Planification et coordination des workflows Oozie dans Hadoop - dummies

Après avoir créé un ensemble de workflows, vous pouvez utiliser une série de tâches de coordinateur Oozie pour planifier réalisé. Vous avez deux options de planification pour l'exécution: une heure spécifique et la disponibilité des données en conjonction avec un certain temps.

Planification basée sur le temps pour les tâches du coordinateur Oozie

Les tâches du coordinateur Oozie peuvent être programmées pour s'exécuter à un certain moment, mais après leur démarrage, elles peuvent être configurées pour s'exécuter à des intervalles spécifiés. L'exemple suivant montre un travail de coordinateur qui commence à s'exécuter à une heure et à une date de début spécifiées:

… $ {workflowAppPath}

Planification basée sur la disponibilité du temps et des données pour les tâches du coordinateur Oozie

Les tâches du coordinateur Oozie peuvent également être programmées pour s'exécuter à un certain moment si des fichiers de données ou des répertoires spécifiés sont disponibles. La liste suivante montre un exemple de coordinateur démarrant à une heure et une date de début spécifiées, exécuté une fois par jour si l'ensemble de données identifié par triggerDatasetDir existe et s'exécute jusqu'à l'heure de fin spécifiée:

Exécution de tâches de coordinateur Oozie

Comme pour les tâches de workflow Oozie, les tâches de coordinateur nécessitent un travail. fichier de propriétés et le coordinateur. Le fichier XML doit être chargé dans le HDFS. Pour exécuter un travail de coordinateur Oozie à partir de l'interface de ligne de commande Oozie, émettez une commande similaire à celle ci-dessous tout en assurant le travail. le fichier de propriétés est accessible localement:

$ oozie job -config sampleCoordinateur / travail. propriétés -run

Après avoir soumis le travail, le coordinateur est stocké dans la base de données d'objets Oozie. Lors de la soumission, Oozie renvoie un identifiant pour vous permettre de surveiller et d'administrer votre coordinateur - job: 0000001-00000001234567-oozie-C.

Pour vérifier l'état de ce travail, exécutez la commande

oozie job -info 0000001-00000001234567-oozie-C