Accueil Finances personnelles Identifiant des données manquantes pour l'apprentissage automatique - mannequins

Identifiant des données manquantes pour l'apprentissage automatique - mannequins

Vidéo: Formation SPSS: Codage et saisie des données 2025

Vidéo: Formation SPSS: Codage et saisie des données 2025
Anonim

Même si vous avez assez d'exemples pour former des algorithmes d'apprentissage automatique simples et complexes, ils doivent présenter des valeurs complètes dans les caractéristiques, sans toutes les données manquantes. Avoir un exemple incomplet rend impossible la connexion de tous les signaux à l'intérieur et entre les caractéristiques. Les valeurs manquantes rendent également difficile l'apprentissage de l'algorithme pendant l'entraînement. Vous devez faire quelque chose à propos des données manquantes.

Le plus souvent, vous pouvez ignorer les valeurs manquantes ou les réparer en devinant une valeur de remplacement probable. Cependant, trop de valeurs manquantes rendent des prédictions plus incertaines parce que les informations manquantes pourraient masquer n'importe quelle figure possible; par conséquent, plus les valeurs sont manquantes dans les entités, plus les prédictions sont variables et imprécises.

Dans un premier temps, comptez le nombre de cas manquants dans chaque variable. Lorsqu'une variable contient trop de cas manquants, vous devrez peut-être la supprimer de l'ensemble de données de formation et de test. Une bonne règle consiste à supprimer une variable si plus de 90% de ses instances sont manquantes.

Certains algorithmes d'apprentissage ne savent pas gérer les valeurs manquantes et signaler les erreurs dans les phases d'entraînement et de test, tandis que d'autres les traitent comme des valeurs nulles, entraînant une sous-estimation de la valeur prédite (c'est juste comme si une partie de la formule ne fonctionnait pas correctement). Par conséquent, vous devez remplacer toutes les valeurs manquantes dans votre matrice de données par une valeur appropriée pour que l'apprentissage automatique se produise correctement.

De nombreuses raisons existent pour les données manquantes, mais le point essentiel est de savoir si les données manquent de manière aléatoire ou dans un ordre spécifique. Les données manquantes aléatoires sont idéales parce que vous pouvez deviner leur valeur en utilisant une moyenne simple, une médiane ou un autre algorithme d'apprentissage automatique, sans trop de soucis. Certains cas contiennent un fort biais en faveur de certains types d'exemples.

Par exemple, pensez au cas de l'étude du revenu d'une population. Les gens riches (pour des raisons fiscales, vraisemblablement) ont tendance à cacher leur véritable revenu en vous rapportant qu'ils ne savent pas. D'un autre côté, les pauvres peuvent dire qu'ils ne veulent pas déclarer leur revenu par crainte d'un jugement négatif. Si vous manquez des informations provenant de certaines couches de la population, la réparation des données manquantes peut être difficile et trompeuse car vous pourriez penser que ces cas sont comme les autres.

Au lieu de cela, ils sont assez différents. Par conséquent, vous ne pouvez pas simplement utiliser des valeurs moyennes pour remplacer les valeurs manquantes - vous devez utiliser des approches complexes et les ajuster soigneusement.De plus, il est difficile d'identifier les cas qui ne manquent pas de données au hasard parce qu'il faut examiner de plus près comment les valeurs manquantes sont associées à d'autres variables de l'ensemble de données.

Lorsque des données sont manquantes au hasard, vous pouvez facilement réparer les valeurs vides car vous obtenez des indications sur leur vraie valeur à partir d'autres variables. Lorsque les données ne sont pas manquantes au hasard, vous ne pouvez pas obtenir de bons indices d'autres informations disponibles à moins que vous compreniez l'association de données avec le cas manquant.

Par conséquent, si vous devez calculer le revenu manquant dans vos données, et qu'il manque parce que la personne est riche, vous ne pouvez pas remplacer la valeur manquante par une moyenne simple parce que vous la remplacerez par un revenu moyen. Au lieu de cela, vous devriez utiliser une moyenne du revenu des personnes riches en remplacement.

Lorsque les données ne sont pas manquantes au hasard, le fait que la valeur soit manquante est informatif car il permet de retrouver le groupe manquant. Vous pouvez laisser la corvée de recherche de la raison pour laquelle il manque à votre algorithme d'apprentissage automatique en créant une nouvelle fonctionnalité binaire qui signale lorsque la valeur d'une variable est manquante. Par conséquent, l'algorithme d'apprentissage automatique déterminera la meilleure valeur à utiliser en tant que remplacement par lui-même.

Identifiant des données manquantes pour l'apprentissage automatique - mannequins

Le choix des éditeurs

Comment envoyer une vidéo et des photos avec Flip Video - Dummies

Comment envoyer une vidéo et des photos avec Flip Video - Dummies

Après avoir pris photos et vidéos d'événements dans votre vie avec votre caméra Flip Video, vous pouvez les envoyer par e-mail à vos amis et aux membres de votre famille. Le partage de films et d'images que vous capturez et créez en envoyant un message e-mail vous permet de toucher et de toucher quelqu'un avec vos créations, même si vous êtes à proximité ...

Comment enregistrer le son séparément pour votre film numérique - Les mannequins

Comment enregistrer le son séparément pour votre film numérique - Les mannequins

Ont parfois besoin d'un réalisateur enregistrer le son en utilisant un appareil séparé de l'appareil photo, enregistrer le son séparément, puis synchroniser le son sur la vidéo plus tard, lors de l'édition. Habituellement, la raison en est d'augmenter la qualité du son enregistré car de nombreuses caméras n'enregistrent pas le son aussi bien que ...

Comment enregistrer une vidéo avec un caméscope Flip - Les nuls

Comment enregistrer une vidéo avec un caméscope Flip - Les nuls

Enregistrant des vidéos avec votre caméra Flip est comme facile comme 1-2-3 (et 4). Avant d'enregistrer une vidéo, vérifiez les indicateurs d'état de votre Flip pour vous assurer que votre caméra est complètement chargée et qu'elle a suffisamment de temps d'enregistrement pour capturer la vidéo que vous voulez filmer. Pour vérifier le niveau de charge de la batterie de votre Flip (ou ...

Le choix des éditeurs

Mot Raccourcis des symboles 2016 - des mannequins

Mot Raccourcis des symboles 2016 - des mannequins

Dans Word 2016 vous pouvez insérer des symboles communs en utilisant ces raccourcis clavier. Utilisez ces raccourcis clavier au lieu de la commande Insérer → Symbole pour insérer des symboles typographiques communs. Symbole Raccourci Tableau de bord Alt + Ctrl + signe moins En tableau Ctrl + signe moins Copyright Alt + Ctrl + C Marque déposée Alt + Ctrl + R Marque Alt + Ctrl + T Ellipsis Alt + Ctrl + période

Mot Raccourcis des symboles 2016 - mannequins

Mot Raccourcis des symboles 2016 - mannequins

En fonction de la manière dont vous choisissez d'utiliser Word 2016, vous risquez de devoir faire face pour un symbole spécial. Avec ces raccourcis clavier, vous pouvez insérer des symboles communs dans Word 2016. Utilisez ces raccourcis clavier au lieu de la commande Insérer → Symbole pour insérer des symboles typographiques communs. Symbole Raccourci Tableau de bord Alt + Ctrl + signe moins En tiret ...

Mot Trucs et astuces pour les tables 2013 - mannequins

Mot Trucs et astuces pour les tables 2013 - mannequins

Dans Word 2013, le texte se déverse dans un tableau sur une cellule base de la cellule. Vous pouvez taper un mot, une phrase ou même un paragraphe. Tout ce texte reste dans la cellule, bien que la cellule change de taille pour accueillir de plus grandes quantités de texte. Vous pouvez mettre en forme la cellule d'une table comme n'importe quel paragraphe de Word, en ajoutant même des marges ...

Le choix des éditeurs

Sexe For Dummies Cheat Sheet - les nuls

Sexe For Dummies Cheat Sheet - les nuls

Que vous vous considériez comme un Don Juan, une Lady Chatterly, ou un novice sexuel , tout le monde peut tirer le meilleur parti du sexe avec un peu plus de connaissances. Vous devriez savoir que les préliminaires sont quelque chose que vous devriez prendre en considération avec chaque interaction que vous et votre partenaire avez, ainsi que la façon de garder les choses ...

Mots et significations liés à la ménopause - mannequins

Mots et significations liés à la ménopause - mannequins

Bien que ce soit loin d'être une liste complète des termes que vous pourriez entendre être utilisé lorsque la ménopause est discutée, les cinq termes essentiels suivants devraient vous aider à comprendre les bases. HRT (hormonothérapie substitutive): Un traitement pour compléter les hormones que vous perdez pendant la ménopause - généralement une combinaison d'œstrogènes, ...

Symptômes qui indiquent que la ménopause est proche - mannequins

Symptômes qui indiquent que la ménopause est proche - mannequins

La plupart des femmes commencent à éprouver des symptômes de ménopause déséquilibrés, alors qu'ils ont encore des règles. Si vous ressentez un ou plusieurs des symptômes suivants, consultez votre médecin - vous pouvez être en train d'aborder le changement. Peau sèche ou cheveux Pensée floue (difficulté à se concentrer) Flutters du cœur (battements de cœur rapides) ...