Garantit la qualité des données externes entrantes - mannequins

Lorsque vous concevez un entrepôt de données et que vous déterminez les données externes dont vous avez besoin, vous passez simplement une commande (comme commander des vêtements ou un panier de fruits sur un site en ligne). Après avoir commencé à recevoir des données via un flux, un transfert de fichier ou d'autres moyens, la navigation est fluide - ou est-ce?

Qu'en est-il de la qualité des données entrantes? Vous devez absolument appliquer le même ensemble de procédures d'assurance qualité (AQ) aux données externes que vous transmettez à des données provenant de vos propres systèmes internes. Juste parce que vous achetez l'information sur le marché libre ne garantit pas que les données sont sans faille.

Appliquez les procédures d'assurance qualité à chaque lot de données entrant en procédant comme suit:

1. Déterminez si les données entrantes ont des valeurs de contrôle ajoutées aux fichiers.

   Quelques exemples de valeurs de contrôle sont le nombre d'enregistrements dans chaque fichier, la valeur totale de chaque colonne numérique (total des ventes pour tous les enregistrements et total des unités vendues pour tous les enregistrements, par exemple) et les sous-totaux des colonnes (montant total des ventes et des unités par État, par exemple).

   Si des valeurs de contrôle sont fournies, elles doivent être stockées et utilisées dans le cadre des procédures de chargement de bout en bout. Personne ne devrait officiellement mettre à jour le contenu de l'entrepôt avant que les totaux de contrôle ne correspondent aux calculs que vous avez effectués lorsque vous avez préparé les données pour le chargement.

2. Si aucune valeur de contrôle n'est fournie, demandez-les.

   Bien que la demande puisse prendre quelques cycles (quelques semaines ou mois, par exemple) à remplir, tout fournisseur de données intéressé à fournir un niveau élevé de service client prend ce type de demande au sérieux et s'efforce de fournir les informations de contrôle demandées disponible.

3. Pendant vos procédures de chargement, filtrez chaque ligne.

   Assurez-vous que les conditions suivantes sont vraies:

   1. Les clés (identificateurs uniques pour chaque enregistrement) sont correctes pour toutes les informations. Par exemple, si chaque enregistrement du groupe de données SalesMasterRecord doit avoir exactement 12 enregistrements associés dans SalesDetailRecord (un pour chaque mois), assurez-vous que tous les enregistrements de détail sont présents en comparant les valeurs de clé d'enregistrement.

   2. Les plages de valeurs sont correctes. Les ventes de produits par mois, par exemple, doivent être dans des limites raisonnables pour ce type de produit (les avions sont différents des boulons, par exemple).

   3. Les champs d'information manquants (un événement probable - presque inévitable - avec des données fournies de l'extérieur) ne faussent pas la signification des données entrantes.

      Par exemple, bien que l'absence de données supplémentaires (définies selon les règles métier de votre secteur ou organisation spécifique) ne soit pas un problème trop sérieux, si la moitié des enregistrements entrants ont un espace vide où UnitsSold, TotalSalesPrice, ou un autre type d'information critique devrait être, la valeur des données est discutable au mieux.

   4. Particulièrement dans les premières phases d'acquisition de données externes (les trois ou quatre premiers mois, par exemple), utilisez vos outils analytiques, décrits au chapitre 10, pour effectuer une analyse de qualité des données avant que vos utilisateurs utilisent les mêmes outils. une analyse.

      Recherchez les bizarreries, les anomalies, les résultats déroutants, les incohérences, les paradoxes apparents et tout ce qui a l'air bizarre. Ensuite, explorez les racines des données pour vérifier la source de l'étrangeté.

      Rappelez-vous que vous avez probablement besoin de plusieurs millions de lignes de données entrantes: En plus de ne pas être en mesure de vérifier personnellement chaque ligne, vous pouvez avoir des difficultés à définir vos critères de filtrage et de contrôle qualité pour chaque condition.

      Quiconque a déjà fait quoi que ce soit avec des données source fournies de l'extérieur a rencontré toutes sortes d'incohérences étranges et de données manquantes dans les informations entrantes. En vous mettant à la place des utilisateurs et en utilisant les mêmes outils que ceux qu'ils utilisent, vous pouvez probablement découvrir une chose ou deux que vous pouvez corriger, ce qui rendra votre entrepôt de données beaucoup plus riche en informations professionnelles précieuses.