Middleware Services: mappage et transformation de données - nuls

Cette figure montre un environnement dans lequel les données sont extraites de trois sources de données différentes pour inclusion dans un entrepôt de données, et chacune des trois sources est sur une plate-forme différente. À un moment donné dans le processus du middleware, ces extraits QA doivent être rassemblés pour un processus combiné de cartographie et de transformation.

Le service de mappage et de transformation gère les problèmes classiques d'entreposage de données. Supposons qu'une source de données stocke des clients à l'aide d'un ID client à cinq caractères et qu'une autre source utilise un identifiant numérique à six chiffres.

Pour permettre les comparaisons et autres traitements d'entrepôt de données, vous avez besoin d'une méthode commune d'identification des clients: l'un des schémas d'identification doit être converti en un autre, ou peut-être un troisième, en fonction des caractéristiques de l'environnement.

Outre les incompatibilités entre systèmes, des transformations supplémentaires peuvent inclure

• Récapitulatif des données: Un récapitulatif peut être effectué plus tôt dans le processus, avant le mouvement entre systèmes, en fonction du les particularités de votre environnement spécifique d'entreposage de données.

• Inclusion sélective de données: Vous pouvez inclure des enregistrements d'une seule source de données, par exemple, si vous obtenez un enregistrement comparable d'un autre extrait. Vous ne savez pas, jusqu'à ce que vous convergez toutes les contributions de la source de données, comment les règles d'inclusion sélective sont appliquées.

• Convergence des données: Certains éléments d'une source de données sont combinés avec des éléments d'une autre source pour créer un enregistrement unifié pour chaque client, produit, contrat ou tout type de données que vous traitez avec.

Le principal point à retenir à propos du service de mappage et de transformation est que vous devriez avoir, à la fin, un ensemble unifié de données prêt à être chargé dans l'entrepôt de données, dès que vous aurez terminé quelques étapes supplémentaires.

Dans les environnements d'entreposage de données complexes, vous pouvez envisager plusieurs processus de transformation. Comme le montre cette figure, par exemple, les extraits de données convergent à différents niveaux de transformation avant de s'éloigner du pipeline de middleware, ce qui vous permet d'appliquer plus de puissance au processus de transformation en utilisant plusieurs serveurs au début du flux.