Vidéo: Hindex Secondary indexes for faster HBase queries - Rajeshbabu Chintaguntla 2024
En ce qui concerne Sqoop, une image vaut souvent mille mots, alors consultez la figure, qui vous donne une vue d'ensemble de l'architecture Sqoop.
L'idée derrière Sqoop est de tirer parti des tâches map - des tâches qui effectuent l'importation et l'exportation parallèles de tables de bases de données relationnelles - directement depuis l'infrastructure Hadoop MapReduce. C'est une bonne nouvelle car le framework MapReduce fournit une tolérance aux pannes pour les tâches d'importation et d'exportation ainsi que le traitement parallèle!
Vous apprécierez la tolérance aux pannes en cas d'échec lors d'une importation ou exportation de grande table car MapReduce récupérera sans nécessiter de redémarrer le processus.
Sqoop peut importer des données vers Hive et HBase. Notez, cependant, que les flèches vers Hive et HBase pointent dans une seule direction. Les données stockées dans une base de données relationnelle prenant en charge JDBC peuvent être directement importées dans les systèmes Hive ou HBase avec Sqoop. Les exportations sont toutefois effectuées à partir de données stockées dans HDFS.
Par conséquent, si vous avez besoin d'exporter vos tables Hive, vous pointez Sqoop vers les répertoires HDFS qui stockent vos tables Hive. Si vous devez exporter des tables HBase, vous devez d'abord les exporter vers HDFS, puis exécuter la commande d'exportation Sqoop.
