Accueil Finances personnelles Vos données semblent-elles correctes? - les nuls

Vos données semblent-elles correctes? - les nuls

Table des matières:

Vidéo: Nina Teicholz - 'Vegetable Oils: The Unknown Story' 2025

Vidéo: Nina Teicholz - 'Vegetable Oils: The Unknown Story' 2025
Anonim

La plupart des jeux de données ont une sorte de métadonnées, qui est essentiellement une description des données fichier. Les métadonnées comprennent généralement des descriptions des formats, des indications sur les valeurs de chaque champ de données et la signification de ces valeurs.

Lorsque vous faites face à un nouveau jeu de données, ne prenez jamais les métadonnées à leur valeur nominale. La nature même du big data nécessite que les systèmes qui le génèrent soient maintenus aussi longtemps que possible. Pour cette raison, la mise à jour des métadonnées pour ces systèmes lorsque des modifications sont implémentées n'est pas toujours une priorité absolue. Vous devez confirmer que les données correspondent réellement aux revendications de métadonnées.

Vérification de vos sources

Aussi évident que cela puisse paraître, il est important que vous ayez confiance dans l'origine de vos données. Ceci est particulièrement important lorsque vous achetez des données. Des milliers de vendeurs offrent tous les types de données imaginables. Et ils ne sont pas tous de crédibilité égale.

Avant d'acheter des données, essayez de comprendre exactement où et comment le fournisseur les collecte. La mystériosité et l'imprécision sont des drapeaux rouges.

Ne prenez pas les vendeurs au mot. Ne comptez pas uniquement sur les messages de satisfaction du client sur le site Web ou sur les références client fournies par le fournisseur. Si possible, essayez de retrouver quelqu'un qui utilise ou a utilisé les données.

Si vos données proviennent de systèmes internes, il est toujours important d'évaluer les sources. Des systèmes différents ont des objectifs différents et se concentrent donc sur des données différentes. Ils peuvent également collecter des données à différents moments.

Par exemple, il n'est pas rare pour certaines chaînes d'hôtels de réserver des réservations dans un système distinct de celui qu'elles utilisent à la réception lorsque l'invité s'enregistre. Il est possible que le client reçoive une offre à prix réduit entre la réservation et l'enregistrement. Cela signifie que le tarif de la chambre dans le système de réservation peut ne pas correspondre au tarif du système de la réception. De plus, la réservation pourrait être annulée et ne jamais arriver à la réception!

Supposons maintenant que vous effectuez une analyse des revenus d'hôtels par ville. Il est important que vous sachiez que les données relatives au tarif de votre chambre proviennent du système de la réception plutôt que du système de réservation. Mais que se passe-t-il si vous essayez d'analyser le nombre de réservations générées par la publicité du Super Bowl de votre entreprise? Dans ce cas, vous voulez voir les données du système de réservation.

L'exemple de l'hôtel montre que même des données intrinsèquement propres peuvent être problématiques. Même si les données sont exactes et exactement ce qu'elles prétendent être, le timing peut être un problème.Les données changent au fil du temps.

Vérification des formats

Comme mentionné précédemment dans ce chapitre, l'une des choses que vos métadonnées vous fourniront est une indication de la façon dont les données sont formatées. Par formaté, , nous voulons dire à quoi ressemble chaque élément de données. Le "code de produit" est-il un caractère ou un chiffre? Est-ce que "Start Date" est une date ou est-ce vraiment un timbre datetime?

Les types de données sont importants dans l'analyse statistique car ils dictent quelles statistiques et procédures statistiques peuvent être appliquées aux éléments de données. Si vous essayez de prendre la valeur moyenne d'un champ de caractères comme "Prénom", vous recevrez un message d'erreur à chaque fois.

Généralement, ce type de métadonnées est assez précis. Il est généralement stocké par le système qui contient les données et peut être généré automatiquement. La vérification des formats est généralement assez simple. Cette vérification est essentiellement un sous-produit de la validation des plages de données discutées dans la section suivante. Mais il y a des cas où cela peut être un peu plus difficile.

Nous avons vu un tel scénario plus de fois que nous ne le pensons. Il arrive parfois que, lors de la conception d'un système, l'équipe de développement essaie de mettre de la flexibilité dans les structures de données pour prendre en compte les améliorations futures. Parfois, ils ajoutent simplement un tas de colonnes de données alphanumériques vides (et larges) à la fin de chaque enregistrement. Ces colonnes auxiliaires ne sont initialement utilisées pour rien.

Les analystes vont toujours pécher par rapport à demander plus de données plutôt que moins - souvent, toutes les données plutôt que certaines. Ce fait, combiné à la nécessité d'obtenir rapidement les données, entraîne parfois un vidage de données . Cette décharge inclut généralement les colonnes auxiliaires. Dans ces cas, les métadonnées vous indiquent quelque chose comme "Les champs 1-11" sont formatés comme "200 caractères alphanumériques. "

Une telle information est pratiquement inutile. Pour donner un sens à un champ de données comme celui-ci, il faut se salir les mains. Il n'y a pas grand-chose que vous puissiez faire, à part parcourir quelques dizaines de dossiers et essayer de faire une estimation éclairée de ce qui se passe réellement sur le terrain. Dans la plupart des cas, ces champs ont tendance à être vides. Mais pas toujours. Les bonnes nouvelles sont que si le champ est réellement utilisé, vous devriez être en mesure de trouver un programmeur quelque part qui sait à quoi il sert.

Typecasting vos données

L'une des étapes les plus critiques dans l'exécution d'une analyse statistique consiste à s'assurer que vos données sont ce qu'elles prétendent être. Les procédures statistiques se bloqueront invariablement si vous ne leur fournissez pas d'informations valides sur les formats de données. Mais ces procédures sont en grande partie aveugles aux problèmes de validité des données.

Il n'est pas suffisant de comprendre comment un champ de données est formaté. Avant de transformer un ensemble de données en une procédure statistique, vous devez comprendre quelles sont réellement les données dans chacun des champs que vous utilisez.

La plupart des données appartiennent à l'une des quatre catégories suivantes: nominale, ordinale, intervalle et ratio.Le type de données détermine quel type de statistiques et de procédures statistiques peuvent être appliquées à des champs de données particuliers. Vous ne pouvez pas prendre une moyenne d'un champ comme "Nom de famille", par exemple.

La confusion des types de données avec les formats de données est facile (et beaucoup trop commune). Savoir si un champ de données est un caractère, un entier ou un continu ne vous indique pas le type de données.

Les champs de caractères sont parfois utilisés comme des espaces réservés pour les données susceptibles d'être capturées dans les prochaines versions d'un système. Rien n'empêche qu'un tel champ soit utilisé pour capturer des données monétaires ou d'autres données numériques.

L'erreur de type de données la plus fréquente consiste à supposer qu'un champ numérique, en particulier un champ de valeur entière, contient effectivement des données numériques ordinales . Il est extrêmement fréquent que les entreprises utilisent des codes numériques ( données nominales ) pour représenter les produits, les régions, les magasins et diverses autres entités.

Les codes de vol des compagnies aériennes en sont un exemple. Les régions de recensement en sont une autre. Même les numéros de carte de crédit et de sécurité sociale sont généralement stockés sous forme d'entiers. Mais toutes ces entités sont simplement des identifiants. Ce sont des variables nominales . Le numéro de carte de crédit dans le portefeuille d'une banque est une statistique sans signification.

Vos données semblent-elles correctes? - les nuls

Le choix des éditeurs

Découvrir les Méditations de Pleine Conscience Formelle - les nuls

Découvrir les Méditations de Pleine Conscience Formelle - les nuls

Pour approfondir votre conscience consciente, vous devez pratiquer une méditation de pleine conscience sur une base quotidienne. Familiarisez-vous avec certaines des médiations suivantes. Avec le temps, vous deviendrez plus conscient de votre vie quotidienne. Body Meditation Meditation - Cette méditation implique de passer environ une demi-heure, en prenant conscience de ...

Démystifier Dan Brown: Les Templiers Royaux - les nuls

Démystifier Dan Brown: Les Templiers Royaux - les nuls

Les Templiers sont presque aussi fictifs dans Dan Brown Le code Da Vinci comme les chevaliers Jedi sont dans Star Wars. Bien que le héros Robert Langdon hésite d'abord à élever les Templiers dans ses cours, parce que la mention même d'eux fait ressortir les amants du complot, Brown n'a aucun problème à les faire participer ...

Démystification des mythes communs sur la franc-maçonnerie - mannequins

Démystification des mythes communs sur la franc-maçonnerie - mannequins

La franc-maçonnerie moderne existe depuis 1717. Les premières contre-vérités concoctées sur l'Ordre sont apparues en impression à peu près en même temps. Les États-Unis étaient consumés par l'hystérie anti-maçonnique à la fin des années 1820, et l'Europe a fait de Mason-bashing un sport populaire pendant deux siècles, le liant souvent à la propagande antisémite. Internet n'a que ...

Le choix des éditeurs

À L'aide de la boîte de dialogue Configurer l'affichage dans PowerPoint 2011 pour Mac - témoins

À L'aide de la boîte de dialogue Configurer l'affichage dans PowerPoint 2011 pour Mac - témoins

Dans la boîte de dialogue Configurer l'affichage dans PowerPoint, cliquez sur le bouton Configurer l'affichage dans l'onglet Diaporama du ruban Office 2011 pour Mac, ou choisissez Diaporama → Configurer l'affichage dans la barre de menus. Dans les deux cas, la boîte de dialogue Configurer l'affichage polyvalent apparaît. Choisir un type de spectacle dans PowerPoint 2011 pour Mac ...

Enregistrement des fichiers dans Office 2011 pour Mac - témoins

Enregistrement des fichiers dans Office 2011 pour Mac - témoins

Enregistrement d'un fichier sur lequel vous travaillez dans Office 2011 pour Mac est aussi simple que de cliquer sur le bouton Enregistrer dans la barre d'outils Standard, en appuyant sur Commande-S ou en choisissant Fichier → Enregistrer. Si votre fichier a été enregistré précédemment, l'enregistrement du fichier remplace la copie existante du fichier par votre version mise à jour. Si votre fichier n'a pas ...

Fonctionnant avec les modèles de diapositives maîtres dans PowerPoint 2011 pour Mac - les nuls

Fonctionnant avec les modèles de diapositives maîtres dans PowerPoint 2011 pour Mac - les nuls

Dans Office 2011 pour Mac, l'ajout d'une nouvelle présentation de diapositive à une diapositive dans la vue Diapositive maître de PowerPoint 2011 est une tâche assez simple à effectuer. Suivez ces étapes pour commencer: Assurez-vous que vous êtes en mode Masque des diapositives. Choisissez Affichage → Maître → Masque de diapositives dans la barre de menus. Cliquez sur l'onglet Masque des diapositives du ruban, ...

Le choix des éditeurs

Sélectionnez PowerPoint 2007 Objects - dummies

Sélectionnez PowerPoint 2007 Objects - dummies

Avant de pouvoir modifier un objet PowerPoint 2007 sur une diapositive, vous devez le sélectionner. Dans les présentations PowerPoint, les objets peuvent être du texte, des graphiques, des images clipart, des formes, etc. Voici quelques instructions pour sélectionner les objets PowerPoint 2007: Objets texte: Pour sélectionner un objet texte PowerPoint 2007, déplacez le point d'insertion sur le texte qui ...

Définir le contour de la forme sur une diapositive PowerPoint 2007 - dummies

Définir le contour de la forme sur une diapositive PowerPoint 2007 - dummies

Le contrôle shapePoint de powerPoint vous permet style des objets de ligne ou la bordure pour les objets de forme solide sur vos diapositives PowerPoint. Le contrôle Shape Outline se trouve dans le groupe Styles de formes de l'onglet Outils de dessin. Vous pouvez modifier les paramètres suivants pour le contour: Couleur: Définit la couleur utilisée pour ...

PowerPoint 2016 pour les nuls Cheat Sheet - les nuls

PowerPoint 2016 pour les nuls Cheat Sheet - les nuls

PowerPoint 2016 est le logiciel de présentation le plus puissant disponible pour créer et éditer la diapositive montrer des présentations pour le travail, la maison ou l'école. PowerPoint 2016 offre un certain nombre de raccourcis clavier utiles pour effectuer des tâches rapidement. Voici quelques raccourcis pour le formatage PowerPoint commun, l'édition et les tâches de fichiers et de documents. De plus, après avoir créé votre chef-d'œuvre, vous ...