Table des matières:
Vidéo: Nina Teicholz - 'Vegetable Oils: The Unknown Story' 2024
La plupart des jeux de données ont une sorte de métadonnées, qui est essentiellement une description des données fichier. Les métadonnées comprennent généralement des descriptions des formats, des indications sur les valeurs de chaque champ de données et la signification de ces valeurs.
Lorsque vous faites face à un nouveau jeu de données, ne prenez jamais les métadonnées à leur valeur nominale. La nature même du big data nécessite que les systèmes qui le génèrent soient maintenus aussi longtemps que possible. Pour cette raison, la mise à jour des métadonnées pour ces systèmes lorsque des modifications sont implémentées n'est pas toujours une priorité absolue. Vous devez confirmer que les données correspondent réellement aux revendications de métadonnées.
Vérification de vos sources
Aussi évident que cela puisse paraître, il est important que vous ayez confiance dans l'origine de vos données. Ceci est particulièrement important lorsque vous achetez des données. Des milliers de vendeurs offrent tous les types de données imaginables. Et ils ne sont pas tous de crédibilité égale.
Avant d'acheter des données, essayez de comprendre exactement où et comment le fournisseur les collecte. La mystériosité et l'imprécision sont des drapeaux rouges.
Ne prenez pas les vendeurs au mot. Ne comptez pas uniquement sur les messages de satisfaction du client sur le site Web ou sur les références client fournies par le fournisseur. Si possible, essayez de retrouver quelqu'un qui utilise ou a utilisé les données.
Si vos données proviennent de systèmes internes, il est toujours important d'évaluer les sources. Des systèmes différents ont des objectifs différents et se concentrent donc sur des données différentes. Ils peuvent également collecter des données à différents moments.
Par exemple, il n'est pas rare pour certaines chaînes d'hôtels de réserver des réservations dans un système distinct de celui qu'elles utilisent à la réception lorsque l'invité s'enregistre. Il est possible que le client reçoive une offre à prix réduit entre la réservation et l'enregistrement. Cela signifie que le tarif de la chambre dans le système de réservation peut ne pas correspondre au tarif du système de la réception. De plus, la réservation pourrait être annulée et ne jamais arriver à la réception!
Supposons maintenant que vous effectuez une analyse des revenus d'hôtels par ville. Il est important que vous sachiez que les données relatives au tarif de votre chambre proviennent du système de la réception plutôt que du système de réservation. Mais que se passe-t-il si vous essayez d'analyser le nombre de réservations générées par la publicité du Super Bowl de votre entreprise? Dans ce cas, vous voulez voir les données du système de réservation.
L'exemple de l'hôtel montre que même des données intrinsèquement propres peuvent être problématiques. Même si les données sont exactes et exactement ce qu'elles prétendent être, le timing peut être un problème.Les données changent au fil du temps.
Vérification des formats
Comme mentionné précédemment dans ce chapitre, l'une des choses que vos métadonnées vous fourniront est une indication de la façon dont les données sont formatées. Par formaté, , nous voulons dire à quoi ressemble chaque élément de données. Le "code de produit" est-il un caractère ou un chiffre? Est-ce que "Start Date" est une date ou est-ce vraiment un timbre datetime?
Les types de données sont importants dans l'analyse statistique car ils dictent quelles statistiques et procédures statistiques peuvent être appliquées aux éléments de données. Si vous essayez de prendre la valeur moyenne d'un champ de caractères comme "Prénom", vous recevrez un message d'erreur à chaque fois.
Généralement, ce type de métadonnées est assez précis. Il est généralement stocké par le système qui contient les données et peut être généré automatiquement. La vérification des formats est généralement assez simple. Cette vérification est essentiellement un sous-produit de la validation des plages de données discutées dans la section suivante. Mais il y a des cas où cela peut être un peu plus difficile.
Nous avons vu un tel scénario plus de fois que nous ne le pensons. Il arrive parfois que, lors de la conception d'un système, l'équipe de développement essaie de mettre de la flexibilité dans les structures de données pour prendre en compte les améliorations futures. Parfois, ils ajoutent simplement un tas de colonnes de données alphanumériques vides (et larges) à la fin de chaque enregistrement. Ces colonnes auxiliaires ne sont initialement utilisées pour rien.
Les analystes vont toujours pécher par rapport à demander plus de données plutôt que moins - souvent, toutes les données plutôt que certaines. Ce fait, combiné à la nécessité d'obtenir rapidement les données, entraîne parfois un vidage de données . Cette décharge inclut généralement les colonnes auxiliaires. Dans ces cas, les métadonnées vous indiquent quelque chose comme "Les champs 1-11" sont formatés comme "200 caractères alphanumériques. "
Une telle information est pratiquement inutile. Pour donner un sens à un champ de données comme celui-ci, il faut se salir les mains. Il n'y a pas grand-chose que vous puissiez faire, à part parcourir quelques dizaines de dossiers et essayer de faire une estimation éclairée de ce qui se passe réellement sur le terrain. Dans la plupart des cas, ces champs ont tendance à être vides. Mais pas toujours. Les bonnes nouvelles sont que si le champ est réellement utilisé, vous devriez être en mesure de trouver un programmeur quelque part qui sait à quoi il sert.
Typecasting vos données
L'une des étapes les plus critiques dans l'exécution d'une analyse statistique consiste à s'assurer que vos données sont ce qu'elles prétendent être. Les procédures statistiques se bloqueront invariablement si vous ne leur fournissez pas d'informations valides sur les formats de données. Mais ces procédures sont en grande partie aveugles aux problèmes de validité des données.
Il n'est pas suffisant de comprendre comment un champ de données est formaté. Avant de transformer un ensemble de données en une procédure statistique, vous devez comprendre quelles sont réellement les données dans chacun des champs que vous utilisez.
La plupart des données appartiennent à l'une des quatre catégories suivantes: nominale, ordinale, intervalle et ratio.Le type de données détermine quel type de statistiques et de procédures statistiques peuvent être appliquées à des champs de données particuliers. Vous ne pouvez pas prendre une moyenne d'un champ comme "Nom de famille", par exemple.
La confusion des types de données avec les formats de données est facile (et beaucoup trop commune). Savoir si un champ de données est un caractère, un entier ou un continu ne vous indique pas le type de données.
Les champs de caractères sont parfois utilisés comme des espaces réservés pour les données susceptibles d'être capturées dans les prochaines versions d'un système. Rien n'empêche qu'un tel champ soit utilisé pour capturer des données monétaires ou d'autres données numériques.
L'erreur de type de données la plus fréquente consiste à supposer qu'un champ numérique, en particulier un champ de valeur entière, contient effectivement des données numériques ordinales . Il est extrêmement fréquent que les entreprises utilisent des codes numériques ( données nominales ) pour représenter les produits, les régions, les magasins et diverses autres entités.
Les codes de vol des compagnies aériennes en sont un exemple. Les régions de recensement en sont une autre. Même les numéros de carte de crédit et de sécurité sociale sont généralement stockés sous forme d'entiers. Mais toutes ces entités sont simplement des identifiants. Ce sont des variables nominales . Le numéro de carte de crédit dans le portefeuille d'une banque est une statistique sans signification.
