Accueil Finances personnelles Comment hiérarchiser la qualité du Big Data - les nuls

Comment hiérarchiser la qualité du Big Data - les nuls

Vidéo: LA GOUVERNANCE DE LA DONNEE, C'EST QUOI ? 2025

Vidéo: LA GOUVERNANCE DE LA DONNEE, C'EST QUOI ? 2025
Anonim

Trouver le bon point de vue sur la qualité des données peut être très difficile dans le monde des données volumineuses. Avec la majorité des grandes sources de données, vous devez supposer que vous travaillez avec des données qui ne sont pas propres. En fait, l'abondance de données apparemment aléatoires et déconnectées dans les flux de données de médias sociaux est l'une des choses qui les rendent si utiles aux entreprises.

Vous commencez par rechercher des pétaoctets de données sans savoir ce que vous pourriez trouver après avoir commencé à rechercher des modèles dans les données. Vous devez accepter le fait qu'il y a beaucoup de bruit dans les données. Ce n'est qu'en cherchant et en faisant correspondre les motifs que vous pourrez trouver des étincelles de vérité au milieu de données très sales.

Phase 1

: Rechercher des tendances dans les données volumineuses sans se soucier de la qualité des données.

Phase 2:

Après avoir localisé vos modèles et établi des résultats importants pour l'entreprise, appliquez les mêmes normes de qualité que celles que vous appliquez à vos sources de données traditionnelles. Vous voulez éviter de collecter et de gérer les mégadonnées qui ne sont pas importantes pour l'entreprise et qui peuvent potentiellement corrompre d'autres éléments de données dans Hadoop ou d'autres plates-formes de Big Data. Lorsque vous commencez à incorporer les résultats de votre analyse de données volumineuses dans votre processus métier, sachez que des données de haute qualité sont essentielles pour qu'une entreprise prenne de bonnes décisions. Ceci est vrai pour les big data ainsi que pour les données traditionnelles.

La qualité des données se réfère aux caractéristiques des données, y compris la cohérence, l'exactitude, la fiabilité, l'exhaustivité, la rapidité, le caractère raisonnable et la validité. Le logiciel de qualité des données s'assure que les éléments de données sont représentés de la même manière dans différents magasins de données ou systèmes afin d'améliorer la cohérence des données.

Par exemple, un magasin de données peut utiliser deux lignes pour l'adresse d'un client et un autre magasin de données peut utiliser une ligne. Cette différence dans la façon dont les données sont représentées peut aboutir à des informations inexactes sur les clients, par exemple un client identifié comme deux clients différents.

Une société peut utiliser des dizaines de variantes du nom de son entreprise lorsqu'elle achète des produits.Un logiciel de qualité des données peut être utilisé pour identifier toutes les variantes du nom de l'entreprise dans vos différents magasins de données et vous assurer que vous savez tout ce que ce client achète de votre entreprise.

Ce processus s'appelle

et fournit une vue unique du client ou du produit. Le logiciel de qualité des données fait correspondre les données entre différents systèmes et nettoie ou supprime les données redondantes. Le processus de qualité des données fournit à l'entreprise des informations plus faciles à utiliser, à interpréter et à comprendre. Les outils de profilage de données sont utilisés dans le processus de qualité des données pour vous aider à comprendre le contenu, la structure et l'état de vos données. Ils collectent des informations sur les caractéristiques des données dans une base de données ou dans un autre magasin de données pour commencer à transformer les données en une forme plus fiable. Les outils analysent les données pour identifier les erreurs et les incohérences.

Ils peuvent faire des ajustements pour ces problèmes et corriger les erreurs. Les outils vérifient les valeurs, les modèles et les plages acceptables et aident à identifier les données qui se chevauchent. Le processus de profilage des données, par exemple, vérifie si les données doivent être alpha ou numériques. Les outils vérifient également les dépendances ou voient comment les données se rapportent aux données d'autres bases de données.

Les outils de profilage de données pour les mégadonnées ont une fonction similaire à celle des outils de profilage de données pour les données traditionnelles. Les outils de profilage de données pour Hadoop vous fourniront des informations importantes sur les données des clusters Hadoop. Ces outils peuvent être utilisés pour rechercher des correspondances et supprimer les doublons. Par conséquent, vous pouvez vous assurer que vos données volumineuses sont cohérentes. Les outils Hadoop comme HiveQL et Pig Latin peuvent être utilisés pour le processus de transformation.

Comment hiérarchiser la qualité du Big Data - les nuls

Le choix des éditeurs

Conventions de dénomination pour Ruby on Rails - mannequins

Conventions de dénomination pour Ruby on Rails - mannequins

Vous utilisez Ruby on Rails pour créer un site Web application ou application de base de données Web, ce qui est très intelligent de votre part. En fonction de ce que vous utilisez (une application, une relation un-à-plusieurs ou une relation plusieurs-à-plusieurs), vous utilisez différentes variantes des protocoles d'attribution de noms Rails, qui sont expliquées dans les sections suivantes. Ruby Naming for ...

En orbite, panoramique et zoom dans la vue 3D de Blender - mannequins

En orbite, panoramique et zoom dans la vue 3D de Blender - mannequins

En essayant de naviguer dans un espace en trois dimensions à travers un écran bidimensionnel comme un écran d'ordinateur, vous ne pouvez pas interagir avec cet espace 3D virtuel exactement comme vous le feriez dans le monde réel, ou espace de vie. La meilleure façon de visualiser le travail en 3D à travers un programme comme Blender est d'imaginer la vue 3D comme vos yeux ...

Déplacement de clips sur la timeline dans Final Cut Pro HD - Ficelles

Déplacement de clips sur la timeline dans Final Cut Pro HD - Ficelles

Final Cut Pro HD Timeline vous permet d'organiser tous vos clips vidéo et audio afin qu'ils racontent l'histoire que vous voulez raconter. Pour comprendre le fonctionnement de la Timeline, imaginez-la comme une page de partitions, mais plutôt que de placer des notes de musique de différentes durées (noires, demi-notes, ...

Le choix des éditeurs

Contrôle et modification de l'associativité des dimensions dans AutoCAD - Dummies

Contrôle et modification de l'associativité des dimensions dans AutoCAD - Dummies

Lorsque vous ajoutez des dimensions en sélectionnant des objets ou en utilisant l'accrochage aux objets Pour sélectionner des points sur les objets, AutoCAD crée normalement des dimensions associatives, qui sont connectées aux objets et se déplacent avec eux. C'est le cas dans les nouveaux dessins créés à l'origine dans toute version d'AutoCAD à partir de 2002. Si vous ...

Copie de styles de cote existants dans AutoCAD 2008 - mannequins

Copie de styles de cote existants dans AutoCAD 2008 - mannequins

Si vous avez la chance de travailler dans un bureau Quelqu'un a mis en place des styles de cotes qui conviennent à votre secteur d'activité et à votre projet. Vous pouvez le copier et ainsi éviter de devoir créer vos propres styles de cote. (Un style de cote - ou dimstyle pour faire court - est une collection de paramètres de dessin appelée dimension ...

En choisissant un style d'édition AutoCAD -

En choisissant un style d'édition AutoCAD -

Dans AutoCAD vous passez généralement plus de temps à éditer que dessiner des objets. C'est en partie parce que le processus de conception et de rédaction est, par nature, sujet à des changements, et aussi parce que AutoCAD vous permet de modifier facilement les objets proprement. AutoCAD propose trois styles d'édition: Commande-première Sélection-première Objet-direct (poignée) AutoCAD fait référence à l'édition de commandes comme verbe-nom ...

Le choix des éditeurs

Praxis Examen d'éducation élémentaire - Présentations orales - mannequins

Praxis Examen d'éducation élémentaire - Présentations orales - mannequins

Parce que les élèves doivent généralement donner des présentations orales en classe , vous rencontrerez probablement une question sur ce sujet dans l'examen Praxis Elementary Education. Plus formelles que les discussions de groupe, les présentations orales ont leurs propres règles pour le conférencier. Lorsque vous donnez une présentation en classe, il y a plusieurs ...

Praxis Examen d'éducation élémentaire - Littérature et texte d'information - mannequins

Praxis Examen d'éducation élémentaire - Littérature et texte d'information - mannequins

L'examen Praxis Elementary Education sur la littérature et le texte d'information, c'est-à-dire la fiction et la non-fiction. Vous devrez donc vous familiariser avec les différents genres d'écriture. La compréhension du texte est un processus qui se produit au fil du temps.

Praxis Examen d'éducation élémentaire - Connaissance phonologique - mannequins

Praxis Examen d'éducation élémentaire - Connaissance phonologique - mannequins

Vous rencontrerez probablement une ou deux questions qui impliquent des questions phonologiques sensibilisation à l'examen Praxis Elementary Education. La conscience phonologique est une compétence large impliquant la reconnaissance de son. Les lecteurs débutants commencent par apprendre les sons individuels, ou phonèmes, dans des mots parlés. Par exemple, le mot chat a trois phonèmes: / c / / a / / t /. Un lecteur débutant apprend ...