Vidéo: LA GOUVERNANCE DE LA DONNEE, C'EST QUOI ? 2024
Trouver le bon point de vue sur la qualité des données peut être très difficile dans le monde des données volumineuses. Avec la majorité des grandes sources de données, vous devez supposer que vous travaillez avec des données qui ne sont pas propres. En fait, l'abondance de données apparemment aléatoires et déconnectées dans les flux de données de médias sociaux est l'une des choses qui les rendent si utiles aux entreprises.
Vous commencez par rechercher des pétaoctets de données sans savoir ce que vous pourriez trouver après avoir commencé à rechercher des modèles dans les données. Vous devez accepter le fait qu'il y a beaucoup de bruit dans les données. Ce n'est qu'en cherchant et en faisant correspondre les motifs que vous pourrez trouver des étincelles de vérité au milieu de données très sales.
Phase 1: Rechercher des tendances dans les données volumineuses sans se soucier de la qualité des données.
Phase 2:
Après avoir localisé vos modèles et établi des résultats importants pour l'entreprise, appliquez les mêmes normes de qualité que celles que vous appliquez à vos sources de données traditionnelles. Vous voulez éviter de collecter et de gérer les mégadonnées qui ne sont pas importantes pour l'entreprise et qui peuvent potentiellement corrompre d'autres éléments de données dans Hadoop ou d'autres plates-formes de Big Data. Lorsque vous commencez à incorporer les résultats de votre analyse de données volumineuses dans votre processus métier, sachez que des données de haute qualité sont essentielles pour qu'une entreprise prenne de bonnes décisions. Ceci est vrai pour les big data ainsi que pour les données traditionnelles.
Par exemple, un magasin de données peut utiliser deux lignes pour l'adresse d'un client et un autre magasin de données peut utiliser une ligne. Cette différence dans la façon dont les données sont représentées peut aboutir à des informations inexactes sur les clients, par exemple un client identifié comme deux clients différents.
Une société peut utiliser des dizaines de variantes du nom de son entreprise lorsqu'elle achète des produits.Un logiciel de qualité des données peut être utilisé pour identifier toutes les variantes du nom de l'entreprise dans vos différents magasins de données et vous assurer que vous savez tout ce que ce client achète de votre entreprise.
Ce processus s'appelle
et fournit une vue unique du client ou du produit. Le logiciel de qualité des données fait correspondre les données entre différents systèmes et nettoie ou supprime les données redondantes. Le processus de qualité des données fournit à l'entreprise des informations plus faciles à utiliser, à interpréter et à comprendre. Les outils de profilage de données sont utilisés dans le processus de qualité des données pour vous aider à comprendre le contenu, la structure et l'état de vos données. Ils collectent des informations sur les caractéristiques des données dans une base de données ou dans un autre magasin de données pour commencer à transformer les données en une forme plus fiable. Les outils analysent les données pour identifier les erreurs et les incohérences.
Ils peuvent faire des ajustements pour ces problèmes et corriger les erreurs. Les outils vérifient les valeurs, les modèles et les plages acceptables et aident à identifier les données qui se chevauchent. Le processus de profilage des données, par exemple, vérifie si les données doivent être alpha ou numériques. Les outils vérifient également les dépendances ou voient comment les données se rapportent aux données d'autres bases de données.
Les outils de profilage de données pour les mégadonnées ont une fonction similaire à celle des outils de profilage de données pour les données traditionnelles. Les outils de profilage de données pour Hadoop vous fourniront des informations importantes sur les données des clusters Hadoop. Ces outils peuvent être utilisés pour rechercher des correspondances et supprimer les doublons. Par conséquent, vous pouvez vous assurer que vos données volumineuses sont cohérentes. Les outils Hadoop comme HiveQL et Pig Latin peuvent être utilisés pour le processus de transformation.
