Middleware Services: Sélection de données et extractions - dummies

L'objectif principal du service de sélection et d'extraction de données est de sélectionner depuis (trouver dans) une source de données les données vous voulez passer à l'entrepôt de données, puis extraire (extraire) ces données dans un formulaire qui peut être préparé pour les services d'assurance qualité.

Vous pouvez utiliser l'un des deux types de services de sélection et d'extraction suivants pour votre environnement d'entreposage de données:

• Récupérez-les tous et sortez-les plus tard: Trouvez et extrayez tous les éléments de données d'une source que vous voulez charger dans votre entrepôt de données, qu'un élément spécifique ait ou non été précédemment extrait.

• Orienté changement: Recherchez et extrayez uniquement les éléments de données nouvellement ajoutés à la source de données ou mis à jour depuis la dernière extraction.

Le premier type de service nécessite une logique moins complexe pour effectuer l'extraction. Mais vous devez traiter des volumes plus importants (parfois, des volumes beaucoup plus importants) qu'avec le second type, le service orienté changement.

La méthode de sélection et d'extraction orientée vers les changements est assez simple lorsque votre source est une base de données relationnelle qui possède un horodatage que vous pouvez utiliser pour détecter lorsqu'une ligne de données a été ajoutée ou mise à jour pour la dernière fois.

Vous pouvez comparer une ligne de données à la date et à l'heure du dernier processus d'extraction pour déterminer si les données doivent être sélectionnées et extraites. Mais lorsque les données sont stockées dans un fichier qui n'a pas d'horodatage (un fichier VSAM, par exemple), ce processus peut être beaucoup plus difficile.

Vous pourriez également être confronté à un défi lorsque les données sources ont été supprimées d'un fichier ou d'une base de données. Si les règles métier de votre environnement d'entrepôt de données exigent la suppression des données correspondantes dans l'entrepôt, vous devez pouvoir détecter les suppressions effectuées depuis le dernier processus d'extraction pour garantir que les suppressions appropriées sont effectuées dans votre entrepôt.

Le résultat de la sélection et de l'extraction est, bien, un extrait de données prêt à subir un traitement supplémentaire: vérification de la qualité des données.