Vidéo: Enterprise Information System using SSIS 2025
Vers 1995, les fournisseurs ont commencé à positionner leur logiciel en tant qu'outil virtuel d'entreposage de données. La prémisse fondamentale était que, parfois, cela n'a aucun sens de copier et manipuler un tas de données, juste au cas où quelqu'un en aurait besoin. Pourquoi ne pas accéder aux données directement de la source au besoin?
Hélas, l'accès aux données sur un réseau à sa source s'est avéré être le moins difficile des problèmes rencontrés pour essayer de fournir une sorte d'entrepôt de données sur place. Les mêmes problèmes rencontrés dans tout environnement d'entreposage de données (comme traiter la qualité des données, décider quels types de transformations doivent se produire et choisir comment gérer ces transformations lorsque différentes sources sont incompatibles) sont toujours présents.
Ce n'est pas parce que vous pouvez accéder aux données à la source (dans presque toutes les bases de données ou structures de fichiers) que les données fournissent l'intelligence métier nécessaire.
Pour résoudre ces problèmes de qualité des données, de nombreux architectes de données ont commencé à effectuer une construction de magasin de données ascendante afin de développer un entrepôt de données basé sur des composants. Plutôt que d'avoir une seule base de données dans laquelle vous alimentez toutes les données (création de votre entrepôt de données), une série de composants gère chacun un ensemble particulier de fonctions (comme répondre à des questions commerciales spécifiques) ou certains sujets. Ensemble, ces data marts (ou composants) comprennent un environnement d'entreposage de données.
Cette architecture de données à accès dynamique basée sur des composants constitue la base de l'entreposage virtuel de données et, plus précisément, des offres de Enterprise Information Integration (EII) sur le marché.
Cette figure montre un environnement dans lequel les composants individuels sont créés dans l'environnement d'entreposage de données de manière ascendante. Au lieu de combiner les composants dans une grande base de données (et de recopier toutes les données), EII crée un environnement d'entreposage de données dans lequel les utilisateurs peuvent accéder au contenu de chaque composant à partir d'un outil de business intelligence..
Pensez à la façon dont vous utilisez un navigateur Web sur votre bureau. Vous cliquez sur un lien ou tapez une URL spécifique, et l'environnement, en travaillant dans les coulisses, vous emmène au bon endroit pour le contenu que vous avez demandé. Maintenant, imaginez que l'Internet fonctionne beaucoup plus vite.
Lorsque vous accédez à différents sites, vous n'accédez pas à des annonces pour les dernières voitures à quatre roues que vous convoitez, à des résultats sportifs, à des dessins animés Dilbert ou à tout ce que vous faites sur Internet.Vous ramenez des données qui sont ensuite combinées et renvoyées à votre navigateur. C'est l'entreposage virtuel de données - c'est comme Internet!
Ce n'est pas une bonne idée de construire un environnement virtuel d'entreposage de données pour accéder directement aux données source, dans son format natif. Votre défi n'est pas de savoir comment joindre des bases de données multiplateformes (en combinant des données IMS avec des données DB2, par exemple) et de gérer ces types de transformation au niveau système, cela garantit que la qualité des données est élevée et ne nécessite pas l'utilisateur pour nettoyer manuellement les données.
Chaque application doit donc être activée en entrepôt et contenir un éditeur de données responsable de tous les services middleware (tels que l'extraction et l'assurance qualité), comme indiqué dans les règles métier de l'environnement.
L'éditeur de données pourrait fonctionner presque en mode temps réel, comme il le ferait dans un magasin de données opérationnel, ou fonctionner dans un mode périodique (par lots) si des mises à jour instantanées ne sont pas nécessaires. Dans ce cas, l'éditeur de données est un produit mini-middleware intégré dans l'application (ou un service auquel l'application accède).
Lorsque vous pensez à l'entreposage de données virtuelles, remplacez la question «Puis-je accéder aux données? "Avec la question" Puis-je obtenir des données utilisables? "L'éditeur de données joue un rôle important et ne doit pas être négligé.
Vous ne pouvez pas non plus négliger l'architecture de données. Ce n'est pas parce que vous développez des composants de manière ascendante et que vous les accédez en place, plutôt que d'être copiés dans une base de données d'entrepôt de données plus importante, que vous ne pouvez pas négliger cette fonction.
Supposons qu'un composant stocke les ID clients sous forme de numéros à cinq chiffres après la transformation et qu'il ne contient que les clients ayant effectué des achats au cours des six derniers mois. Et un autre composant, qui contient tous les clients qui ont déjà acheté les produits de votre entreprise, utilise des identifiants alphanumériques à sept caractères. Dans cette situation, vous pourriez avoir le même type de problème de disparité de données que si vous accédiez directement aux données à partir des sources.
Bien que EII prenne en compte les différences entre les contenus des composants, vous devez comprendre et gérer les différences afin de ne pas entraver la mission de business intelligence.
