Vidéo: Sqoop on Spark for DataIngestion 2024
Avec tout le succès entourant Sqoop 1. x lors de sa sortie de l'incubateur Apache, Sqoop a l'élan! Donc, comme vous pouvez vous y attendre, Sqoop 2. 0 est en cours avec de nouvelles fonctionnalités intéressantes sur le chemin. Vous pouvez voir que Sqoop 1. 99. 3 est téléchargeable, complet avec la documentation.
Vous vous demandez probablement combien de versions 1.99.x seront disponibles avant les gros 2. 0 hits. Eh bien, la plupart des boules de cristal ne fonctionnent qu'à temps partiel, alors la réponse est "pas encore". "
Voici un aperçu de Sqoop 2. 0 caractéristiques. Cependant, vous connaissez l'exercice: la situation peut changer jusqu'à la version 2.0. La figure illustre des plans de conception (documentés) pour Sqoop 2. 0.
Comme vous pouvez le voir, le grand changement dans les travaux est que Sqoop 2. 0 aura un serveur séparé, ce qui est une bonne nouvelle pour un certain nombre de raisons. D'abord, vous n'aurez pas à faire autant de travail. Le connecteur Sqoop et le pilote JDBC seront installés une fois par l'administrateur système pour votre cluster au lieu d'une fois par client Sqoop.
Vous devez encore faire le travail, mais peut-être que vous aimerez le prochain avantage: Sqoop 2. 0 sera plus sûr! Avec un serveur Sqoop dans le cadre de l'architecture, les opérations sensibles telles que la connexion aux serveurs de base de données doivent uniquement avoir lieu sur le serveur Sqoop et vous aurez un contrôle d'accès basé sur les rôles.
De plus, les clients Sqoop peuvent tirer parti de Sqoop de n'importe où sur le réseau (grâce à la nouvelle interface de repos), et ils bénéficieront d'une nouvelle interface utilisateur graphique (GUI). Vous serez d'accord sur le fait que les options de la ligne de commande sont nécessaires et puissantes à des fins de script, mais tout le monde aime une interface graphique sympa de temps en temps. Sqoop nécessite de nombreuses options de ligne de commande, qui peuvent être sujettes aux erreurs sans interface graphique pour vous guider.
Vous avez probablement remarqué que MapReduce (au lieu de simplement afficher des tâches) s'affichait fièrement. Jusque-là, profitez de Sqoop 1. x et commencez à expérimenter avec 1. 99. x.
