Configuration de l'environnement Hadoop avec Apache Bigtop - dummies

Si vous êtes à l'aise avec les machines virtuelles et Linux, n'hésitez pas à installer Bigtop sur une machine virtuelle différente de ce qui est recommandé. Si vous êtes vraiment audacieux et avez le matériel, allez-y et essayez d'installer Bigtop sur un groupe de machines en mode entièrement distribué!

Étape 1: Téléchargement d'une VM

Hadoop fonctionne sur toutes les distributions Linux populaires, vous avez donc besoin d'une VM Linux. Il y a une image CentOS 6 disponible gratuitement (et légale!) Disponible.

Vous aurez besoin d'un système d'exploitation 64 bits sur votre ordinateur portable pour exécuter cette VM. Hadoop a besoin d'un environnement 64 bits.

Après avoir téléchargé la machine virtuelle, extrayez-la du fichier Zip téléchargé dans le répertoire de destination. Assurez-vous d'avoir environ 50 Go d'espace disponible sous Hadoop et vos données d'exemple en auront besoin.

Si vous n'avez pas encore de lecteur VM, vous pouvez en télécharger un gratuitement.

Une fois votre lecteur VM configuré, ouvrez le lecteur, allez dans Fichier → Ouvrir, puis allez dans le répertoire où vous avez extrait votre machine virtuelle Linux. Recherchez un fichier appelé et sélectionnez-le. Vous verrez des informations sur le nombre de processeurs et la quantité de mémoire utilisée. Découvrez la quantité de mémoire de votre ordinateur et allouez-en la moitié à la machine virtuelle. Hadoop a besoin de beaucoup de mémoire.

Une fois que vous êtes prêt, cliquez sur le bouton Lecture, et votre instance Linux démarrera. Vous verrez beaucoup de messages passer pendant que Linux démarre et vous arriverez à un écran de connexion. Le nom d'utilisateur est déjà défini sur "Tom". "Spécifiez le mot de passe comme" tomtom "et connectez-vous.

Étape 2: Téléchargement de Bigtop

Depuis votre machine virtuelle Linux, cliquez sur l'écran avec le bouton droit de la souris et sélectionnez Ouvrir dans le menu contextuel. Cela ouvre un terminal Linux, où vous pouvez exécuter des commandes. Cliquez à l'intérieur du terminal pour que le curseur clignote et entrez la commande suivante: su -

On vous demandera votre mot de passe, tapez "tomtom" comme précédemment. Cette commande fait passer l'utilisateur à root, qui est le compte principal d'un ordinateur Linux. Vous en aurez besoin pour installer Hadoop.

Avec votre accès root (ne laissez pas la puissance vous atteindre la tête), exécutez la commande suivante:

wget -O / etc / yum. repos. d / bigtop. repo 

// www. apache. org / dist / bigtop / bigtop- 
0. 7. 0 / repos / centos6 / bigtop. repo

La commande est essentiellement une requête web, qui demande un fichier spécifique dans l'URL que vous pouvez voir et écrit dans un chemin spécifique - dans ce cas, c'est /.

Étape 3: Installation de Bigtop

Les génies derrière Linux ont simplifié la vie des gens qui ont besoin d'installer de gros logiciels comme Hadoop.Ce que vous avez téléchargé à la dernière étape n'était pas l'ensemble du paquet Bigtop et toutes ses dépendances. Il s'agissait juste d'un fichier de référentiel (avec l'extension), qui indique à un programme d'installation quels progiciels sont nécessaires pour l'installation de Bigtop.

Comme tous les gros logiciels, Hadoop a beaucoup de prérequis, mais vous n'avez pas besoin de vous inquiéter. Un fichier bien conçu pointera vers des dépendances, et le programme d'installation est assez intelligent pour voir si elles sont manquantes sur votre ordinateur, puis les télécharger et les installer.

Le programme d'installation que vous utilisez ici est appelé yum, que vous pouvez voir en action maintenant:

yum installer hadoop * mahout * oozie * hbase * ruche * hue * cochon * zookeeper *

Notez que vous est de choisir et de choisir les composants Hadoop à installer. Il y a un certain nombre d'autres composants disponibles dans Bigtop, mais ce sont les seuls que vous utiliserez ici. Comme la VM est une nouvelle installation Linux, vous aurez besoin de nombreuses dépendances, vous devrez donc attendre un peu.

Le programme d'installation de yum est assez bavard, vous pouvez donc regarder exactement ce qui est téléchargé et installé pour passer le temps. Lorsque le processus d'installation est terminé, vous devriez voir un message indiquant "Complete! "

Étape 4: Démarrage de Hadoop

Avant de commencer à exécuter des applications sur Hadoop, vous devez effectuer quelques opérations de configuration et de configuration de base. Les voici en ordre:

1. Téléchargez et installez Java:

   yum install java-1. 7. 0-openjdk-devel. x86_64
   

2. Formatez le NameNode:

   sudo / etc / init. d / hadoop-hdfs-namenode init
   

3. Démarrez les services Hadoop pour votre cluster pseudo-distribué:

   pour i dans hadoop-hdfs-namenode hadoop-hdfs-datanode; fais le service sudo $ i commence; done
   

4. Créer une structure de sous-répertoire dans HDFS:

   sudo / usr / lib / hadoop / libexec / init-hdfs. sh
   

5. Démarre les démons YARN:

service sudo hadoop-yarn-resourcemanager commence par le service hadoop-yarn-nodemanager commence

Et avec ça, vous avez terminé. Toutes nos félicitations! Vous avez installé un déploiement Hadoop opérationnel!

Etape 5: Téléchargement de l'exemple de fichier

Pour télécharger l'exemple de fichier, ouvrez le navigateur Firefox à partir de la machine virtuelle et accédez à la page dataexpo.

Vous n'avez pas besoin de l'intégralité de l'ensemble de données, donc commencez avec une seule année, 1987. Lorsque vous êtes sur le point de télécharger, sélectionnez l'option Ouvrir avec Archive Manager.

Une fois votre fichier téléchargé, extrayez le fichier dans votre répertoire personnel, où vous pourrez facilement le trouver. Cliquez sur le bouton Extract, puis sélectionnez le répertoire Desktop.

Étape 6: Copie de l'échantillon de données dans HDFS

N'oubliez pas que vos programmes Hadoop ne peuvent fonctionner qu'avec des données après leur stockage dans HDFS. Donc, ce que vous allez faire maintenant, c'est copier le fichier de données de vol pour 1987 dans HDFS. Entrez la commande suivante:

hdfs dfs -copyFromLocal 1987. csv / user / root