Vidéo: FIWARE Wednesday Webinars - Introduction to FIWARE 2024
Organiser les services et outils de données , couche 3 de la pile de données volumineuse, capturer, valider et assembler divers éléments de données volumineuses collections. Parce que les données volumineuses sont massives, les techniques ont évolué pour traiter les données de manière efficace et transparente. MapReduce est une technique très utilisée. Il suffit de dire ici que bon nombre de ces services de données d'organisation sont des moteurs MapReduce, spécifiquement conçus pour optimiser l'organisation des grands flux de données.
L'organisation des services de données est, en réalité, un écosystème d'outils et de technologies qui peuvent être utilisés pour rassembler et assembler des données en vue d'un traitement ultérieur. En tant que tels, les outils doivent fournir l'intégration, la traduction, la normalisation et l'échelle. Les technologies de cette couche sont les suivantes:
-
Un système de fichiers distribué: Nécessaire pour gérer la décomposition des flux de données et pour fournir une capacité d'échelle et de stockage
-
Services de sérialisation: Nécessaire pour le stockage de données persistant et les appels de procédure distante multilingue (RPC)
-
Services de coordination: Nécessaire pour la construction d'applications distribuées (verrouillage etc.) > Outils d'extraction, de transformation et de chargement (ETL):
-
Nécessaire pour le chargement et la conversion de données structurées et non structurées dans Hadoop Services de workflow:
-
Nécessaire pour planifier les tâches et fournir une structure couches
