Middleware pour Data Warehousing - dummies

Le middleware est un logiciel qui connecte des composants logiciels. Dans un environnement d'entreposage de données, les services de middleware sont l'ensemble des programmes et des routines qui effectuent les opérations suivantes:

• Extraction des données de la source (ou des sources).

• Assurez-vous que les données sont correctes.

• Déplacez les données autour de l'environnement d'une plate-forme à l'autre, si nécessaire.

• Gérer les transformations de données nécessaires.

• Chargez les données dans la base de données (ou les bases de données) de l'entrepôt de données.

De manière plus formelle, les éléments de la liste précédente sont gérés par ces services middleware:

• Sélection et extraction des données

• Assurance qualité des données, partie I (au niveau du composant)

• Déplacement des données, partie I (également au niveau du composant)

• Mappage et transformation des données

• Assurance qualité des données, partie II (après transformation)

• Déplacement des données, partie II (dans l'environnement de plate-forme de l'entrepôt de données)

• Chargement des données (dans l'entrepôt de données) > Cette figure illustre la manière dont ces services de middleware s'enchaînent dans un environnement d'entreposage de données de taille moyenne.

Mais votre environnement d'entreposage de données peut différer de celui présenté sur cette figure, en particulier dans le domaine des services de transfert de données. Un service de transfert de données est nécessaire chaque fois que les données franchissent les limites du système. Votre image conceptuelle diffère en fonction des détails de votre environnement de bout en bout particulier.

Vous avez absolument besoin de planifier, de concevoir et de penser autrement au middleware de l'entrepôt de données en termes de services individuels dans la liste précédente, plutôt qu'en termes génériques, tels que «outils d'extraction». "De nombreux fournisseurs proposent certains, plusieurs ou tous ces services dans le cadre d'un seul produit ou d'une suite de produits.

Par exemple, un outil disposant de services de cartographie et de transformation puissants peut être faible dans les services de chargement de données, ou un outil fournissant un ensemble riche de services d'extraction peut être moins efficace dans l'espace de mappage et de transformation. à l'assurance qualité des données.

Avant de sélectionner un outil pour votre projet d'entreposage de données (si c'est le chemin que vous empruntez plutôt que le codage personnalisé), assurez-vous d'avoir une bonne idée des défis particuliers de votre environnement. Si vous avez des besoins d'extraction de données relativement simples, par exemple, mais que vous rencontrez des problèmes de qualité des données, concentrez-vous sur la recherche du meilleur outil d'assurance qualité, même s'il ne dispose que de capacités d'extraction.

(Ce conseil s'applique même si l'outil n'a aucune capacité d'extraction, auquel cas vous devez le combiner avec un autre outil.)