Accueil Finances personnelles Vos données semblent-elles correctes? - les nuls

Vos données semblent-elles correctes? - les nuls

Table des matières:

Vidéo: Nina Teicholz - 'Vegetable Oils: The Unknown Story' 2025

Vidéo: Nina Teicholz - 'Vegetable Oils: The Unknown Story' 2025
Anonim

La plupart des jeux de données ont une sorte de métadonnées, qui est essentiellement une description des données fichier. Les métadonnées comprennent généralement des descriptions des formats, des indications sur les valeurs de chaque champ de données et la signification de ces valeurs.

Lorsque vous faites face à un nouveau jeu de données, ne prenez jamais les métadonnées à leur valeur nominale. La nature même du big data nécessite que les systèmes qui le génèrent soient maintenus aussi longtemps que possible. Pour cette raison, la mise à jour des métadonnées pour ces systèmes lorsque des modifications sont implémentées n'est pas toujours une priorité absolue. Vous devez confirmer que les données correspondent réellement aux revendications de métadonnées.

Vérification de vos sources

Aussi évident que cela puisse paraître, il est important que vous ayez confiance dans l'origine de vos données. Ceci est particulièrement important lorsque vous achetez des données. Des milliers de vendeurs offrent tous les types de données imaginables. Et ils ne sont pas tous de crédibilité égale.

Avant d'acheter des données, essayez de comprendre exactement où et comment le fournisseur les collecte. La mystériosité et l'imprécision sont des drapeaux rouges.

Ne prenez pas les vendeurs au mot. Ne comptez pas uniquement sur les messages de satisfaction du client sur le site Web ou sur les références client fournies par le fournisseur. Si possible, essayez de retrouver quelqu'un qui utilise ou a utilisé les données.

Si vos données proviennent de systèmes internes, il est toujours important d'évaluer les sources. Des systèmes différents ont des objectifs différents et se concentrent donc sur des données différentes. Ils peuvent également collecter des données à différents moments.

Par exemple, il n'est pas rare pour certaines chaînes d'hôtels de réserver des réservations dans un système distinct de celui qu'elles utilisent à la réception lorsque l'invité s'enregistre. Il est possible que le client reçoive une offre à prix réduit entre la réservation et l'enregistrement. Cela signifie que le tarif de la chambre dans le système de réservation peut ne pas correspondre au tarif du système de la réception. De plus, la réservation pourrait être annulée et ne jamais arriver à la réception!

Supposons maintenant que vous effectuez une analyse des revenus d'hôtels par ville. Il est important que vous sachiez que les données relatives au tarif de votre chambre proviennent du système de la réception plutôt que du système de réservation. Mais que se passe-t-il si vous essayez d'analyser le nombre de réservations générées par la publicité du Super Bowl de votre entreprise? Dans ce cas, vous voulez voir les données du système de réservation.

L'exemple de l'hôtel montre que même des données intrinsèquement propres peuvent être problématiques. Même si les données sont exactes et exactement ce qu'elles prétendent être, le timing peut être un problème.Les données changent au fil du temps.

Vérification des formats

Comme mentionné précédemment dans ce chapitre, l'une des choses que vos métadonnées vous fourniront est une indication de la façon dont les données sont formatées. Par formaté, , nous voulons dire à quoi ressemble chaque élément de données. Le "code de produit" est-il un caractère ou un chiffre? Est-ce que "Start Date" est une date ou est-ce vraiment un timbre datetime?

Les types de données sont importants dans l'analyse statistique car ils dictent quelles statistiques et procédures statistiques peuvent être appliquées aux éléments de données. Si vous essayez de prendre la valeur moyenne d'un champ de caractères comme "Prénom", vous recevrez un message d'erreur à chaque fois.

Généralement, ce type de métadonnées est assez précis. Il est généralement stocké par le système qui contient les données et peut être généré automatiquement. La vérification des formats est généralement assez simple. Cette vérification est essentiellement un sous-produit de la validation des plages de données discutées dans la section suivante. Mais il y a des cas où cela peut être un peu plus difficile.

Nous avons vu un tel scénario plus de fois que nous ne le pensons. Il arrive parfois que, lors de la conception d'un système, l'équipe de développement essaie de mettre de la flexibilité dans les structures de données pour prendre en compte les améliorations futures. Parfois, ils ajoutent simplement un tas de colonnes de données alphanumériques vides (et larges) à la fin de chaque enregistrement. Ces colonnes auxiliaires ne sont initialement utilisées pour rien.

Les analystes vont toujours pécher par rapport à demander plus de données plutôt que moins - souvent, toutes les données plutôt que certaines. Ce fait, combiné à la nécessité d'obtenir rapidement les données, entraîne parfois un vidage de données . Cette décharge inclut généralement les colonnes auxiliaires. Dans ces cas, les métadonnées vous indiquent quelque chose comme "Les champs 1-11" sont formatés comme "200 caractères alphanumériques. "

Une telle information est pratiquement inutile. Pour donner un sens à un champ de données comme celui-ci, il faut se salir les mains. Il n'y a pas grand-chose que vous puissiez faire, à part parcourir quelques dizaines de dossiers et essayer de faire une estimation éclairée de ce qui se passe réellement sur le terrain. Dans la plupart des cas, ces champs ont tendance à être vides. Mais pas toujours. Les bonnes nouvelles sont que si le champ est réellement utilisé, vous devriez être en mesure de trouver un programmeur quelque part qui sait à quoi il sert.

Typecasting vos données

L'une des étapes les plus critiques dans l'exécution d'une analyse statistique consiste à s'assurer que vos données sont ce qu'elles prétendent être. Les procédures statistiques se bloqueront invariablement si vous ne leur fournissez pas d'informations valides sur les formats de données. Mais ces procédures sont en grande partie aveugles aux problèmes de validité des données.

Il n'est pas suffisant de comprendre comment un champ de données est formaté. Avant de transformer un ensemble de données en une procédure statistique, vous devez comprendre quelles sont réellement les données dans chacun des champs que vous utilisez.

La plupart des données appartiennent à l'une des quatre catégories suivantes: nominale, ordinale, intervalle et ratio.Le type de données détermine quel type de statistiques et de procédures statistiques peuvent être appliquées à des champs de données particuliers. Vous ne pouvez pas prendre une moyenne d'un champ comme "Nom de famille", par exemple.

La confusion des types de données avec les formats de données est facile (et beaucoup trop commune). Savoir si un champ de données est un caractère, un entier ou un continu ne vous indique pas le type de données.

Les champs de caractères sont parfois utilisés comme des espaces réservés pour les données susceptibles d'être capturées dans les prochaines versions d'un système. Rien n'empêche qu'un tel champ soit utilisé pour capturer des données monétaires ou d'autres données numériques.

L'erreur de type de données la plus fréquente consiste à supposer qu'un champ numérique, en particulier un champ de valeur entière, contient effectivement des données numériques ordinales . Il est extrêmement fréquent que les entreprises utilisent des codes numériques ( données nominales ) pour représenter les produits, les régions, les magasins et diverses autres entités.

Les codes de vol des compagnies aériennes en sont un exemple. Les régions de recensement en sont une autre. Même les numéros de carte de crédit et de sécurité sociale sont généralement stockés sous forme d'entiers. Mais toutes ces entités sont simplement des identifiants. Ce sont des variables nominales . Le numéro de carte de crédit dans le portefeuille d'une banque est une statistique sans signification.

Vos données semblent-elles correctes? - les nuls

Le choix des éditeurs

Conventions de dénomination pour Ruby on Rails - mannequins

Conventions de dénomination pour Ruby on Rails - mannequins

Vous utilisez Ruby on Rails pour créer un site Web application ou application de base de données Web, ce qui est très intelligent de votre part. En fonction de ce que vous utilisez (une application, une relation un-à-plusieurs ou une relation plusieurs-à-plusieurs), vous utilisez différentes variantes des protocoles d'attribution de noms Rails, qui sont expliquées dans les sections suivantes. Ruby Naming for ...

En orbite, panoramique et zoom dans la vue 3D de Blender - mannequins

En orbite, panoramique et zoom dans la vue 3D de Blender - mannequins

En essayant de naviguer dans un espace en trois dimensions à travers un écran bidimensionnel comme un écran d'ordinateur, vous ne pouvez pas interagir avec cet espace 3D virtuel exactement comme vous le feriez dans le monde réel, ou espace de vie. La meilleure façon de visualiser le travail en 3D à travers un programme comme Blender est d'imaginer la vue 3D comme vos yeux ...

Déplacement de clips sur la timeline dans Final Cut Pro HD - Ficelles

Déplacement de clips sur la timeline dans Final Cut Pro HD - Ficelles

Final Cut Pro HD Timeline vous permet d'organiser tous vos clips vidéo et audio afin qu'ils racontent l'histoire que vous voulez raconter. Pour comprendre le fonctionnement de la Timeline, imaginez-la comme une page de partitions, mais plutôt que de placer des notes de musique de différentes durées (noires, demi-notes, ...

Le choix des éditeurs

Contrôle et modification de l'associativité des dimensions dans AutoCAD - Dummies

Contrôle et modification de l'associativité des dimensions dans AutoCAD - Dummies

Lorsque vous ajoutez des dimensions en sélectionnant des objets ou en utilisant l'accrochage aux objets Pour sélectionner des points sur les objets, AutoCAD crée normalement des dimensions associatives, qui sont connectées aux objets et se déplacent avec eux. C'est le cas dans les nouveaux dessins créés à l'origine dans toute version d'AutoCAD à partir de 2002. Si vous ...

Copie de styles de cote existants dans AutoCAD 2008 - mannequins

Copie de styles de cote existants dans AutoCAD 2008 - mannequins

Si vous avez la chance de travailler dans un bureau Quelqu'un a mis en place des styles de cotes qui conviennent à votre secteur d'activité et à votre projet. Vous pouvez le copier et ainsi éviter de devoir créer vos propres styles de cote. (Un style de cote - ou dimstyle pour faire court - est une collection de paramètres de dessin appelée dimension ...

En choisissant un style d'édition AutoCAD -

En choisissant un style d'édition AutoCAD -

Dans AutoCAD vous passez généralement plus de temps à éditer que dessiner des objets. C'est en partie parce que le processus de conception et de rédaction est, par nature, sujet à des changements, et aussi parce que AutoCAD vous permet de modifier facilement les objets proprement. AutoCAD propose trois styles d'édition: Commande-première Sélection-première Objet-direct (poignée) AutoCAD fait référence à l'édition de commandes comme verbe-nom ...

Le choix des éditeurs

Praxis Examen d'éducation élémentaire - Présentations orales - mannequins

Praxis Examen d'éducation élémentaire - Présentations orales - mannequins

Parce que les élèves doivent généralement donner des présentations orales en classe , vous rencontrerez probablement une question sur ce sujet dans l'examen Praxis Elementary Education. Plus formelles que les discussions de groupe, les présentations orales ont leurs propres règles pour le conférencier. Lorsque vous donnez une présentation en classe, il y a plusieurs ...

Praxis Examen d'éducation élémentaire - Littérature et texte d'information - mannequins

Praxis Examen d'éducation élémentaire - Littérature et texte d'information - mannequins

L'examen Praxis Elementary Education sur la littérature et le texte d'information, c'est-à-dire la fiction et la non-fiction. Vous devrez donc vous familiariser avec les différents genres d'écriture. La compréhension du texte est un processus qui se produit au fil du temps.

Praxis Examen d'éducation élémentaire - Connaissance phonologique - mannequins

Praxis Examen d'éducation élémentaire - Connaissance phonologique - mannequins

Vous rencontrerez probablement une ou deux questions qui impliquent des questions phonologiques sensibilisation à l'examen Praxis Elementary Education. La conscience phonologique est une compétence large impliquant la reconnaissance de son. Les lecteurs débutants commencent par apprendre les sons individuels, ou phonèmes, dans des mots parlés. Par exemple, le mot chat a trois phonèmes: / c / / a / / t /. Un lecteur débutant apprend ...