Valeurs manquantes dans vos données - mannequins

L'un des problèmes de données les plus fréquents et les plus désordonnés à traiter est celui des données manquantes. Les fichiers peuvent être incomplets car les enregistrements ont été supprimés ou un périphérique de stockage a été rempli. Ou certains champs de données peuvent ne contenir aucune donnée pour certains enregistrements. Le premier de ces problèmes peut être diagnostiqué en vérifiant simplement le nombre d'enregistrements pour les fichiers. Le deuxième problème est plus difficile à traiter.

En termes simples, lorsque vous trouvez un champ contenant des valeurs manquantes, vous avez deux choix:

• Ignorez-le.

• Collez quelque chose sur le terrain.

Ignorer le problème

Dans certains cas, vous pouvez simplement trouver un seul champ avec un grand nombre de valeurs manquantes. Si c'est le cas, le plus simple est d'ignorer le champ. Ne l'incluez pas dans votre analyse.

Une autre façon d'ignorer le problème consiste à ignorer l'enregistrement. Il suffit de supprimer l'enregistrement contenant les données manquantes. Cela peut sembler logique s'il n'y a que quelques enregistrements indésirables. Mais s'il existe plusieurs champs de données contenant un nombre significatif de valeurs manquantes, cette approche peut réduire votre nombre d'enregistrements à un niveau inacceptable.

Une autre chose à vérifier avant de simplement supprimer des enregistrements est n'importe quel signe d'un modèle. Par exemple, supposons que vous analysiez un jeu de données lié aux soldes de cartes de crédit à l'échelle nationale. Vous pouvez trouver tout un tas d'enregistrements montrant 0 $. 00 soldes (peut-être environ la moitié des enregistrements). Ce n'est pas en soi une indication de données manquantes. Cependant, si tous les enregistrements de, disons, la Californie montrent 0 $. 00 soldes, qui indique un problème potentiel de valeurs manquantes. Et ce n'est pas un qui serait utilement résolu en supprimant tous les enregistrements du plus grand état du pays. Dans ce cas, il s'agit probablement d'un problème système et indique qu'un nouveau fichier doit être créé.

En général, la suppression d'enregistrements est une solution facile, mais pas idéale, aux problèmes de valeurs manquantes. Si le problème est relativement petit et qu'il n'y a pas de modèle perceptible pour les omissions, alors il peut être acceptable d'abandonner les dossiers incriminés et de passer à autre chose. Mais souvent, une approche plus highbrow est justifiée.

Remplir les données manquantes

Le remplissage des données manquantes revient à faire une supposition éclairée sur ce qui aurait été dans ce domaine. Il y a de bonnes et de mauvaises façons de le faire. Une approche simple (mais mauvaise) consiste à remplacer les valeurs manquantes par la moyenne des valeurs non manquantes. Dans les champs non numériques, vous pourriez être tenté de remplir les enregistrements manquants avec la valeur la plus commune dans les autres enregistrements (le mode).

Ces approches sont malheureusement encore fréquemment utilisées dans certaines applications professionnelles.Mais ils sont largement considérés par les statisticiens comme de mauvaises idées. D'une part, le but de l'analyse statistique est de trouver des données qui différencient un résultat d'un autre. En remplaçant tous les enregistrements manquants par la même valeur, vous n'avez rien différencié.

L'approche de plus haut niveau consiste à essayer de trouver une façon de prédire de manière significative quelle valeur doit être remplie dans chaque enregistrement qui manque une valeur. Cela implique de regarder les enregistrements complets et d'essayer de trouver des indices sur ce que pourrait être la valeur manquante.

Supposons que vous analysez un fichier démographique pour prédire les acheteurs potentiels de l'un de vos produits. Dans ce dossier, vous trouverez, entre autres, de l'information sur l'état matrimonial, le nombre d'enfants et le nombre d'automobiles. Pour une raison quelconque, le nombre de champs autos est manquant dans un tiers des enregistrements.

En analysant les deux autres domaines - l'état matrimonial et le nombre d'enfants - vous pourriez découvrir certains modèles. Les célibataires ont tendance à avoir une voiture. Les personnes mariées sans enfants ont tendance à avoir deux voitures. Les personnes mariées ayant plus d'un enfant pourraient être plus susceptibles d'avoir trois voitures. De cette façon, vous pouvez deviner les valeurs manquantes d'une manière qui différencie réellement les enregistrements. Plus sur cette approche à venir.

Il existe un terme général dans les statistiques et le traitement de données qui fait référence à des données discutables. Le terme bruyant est utilisé pour décrire des données qui ne sont pas fiables, corrompues ou qui ne sont pas authentiques. Les données manquantes n'en sont qu'un exemple. Une description détaillée des techniques pour nettoyer les données bruyantes en général est au-delà de la portée de ce livre. En fait, il s'agit d'un domaine de recherche actif en théorie statistique. Le fait que tout bruit ne soit pas aussi facile à repérer que des valeurs manquantes le rend difficile à traiter.