Traitement des valeurs aberrantes dues à des erreurs dans le système - Témoins

Lorsque vous utilisez la technologie ou l'instrumentation pour effectuer une tâche d'analyse prédictive, un problème ici ou là peut amener ces instruments à enregistrer des valeurs extrêmes ou inhabituelles. Si les capteurs enregistrent des valeurs d'observation qui ne répondent pas aux normes de contrôle de qualité de base, ils peuvent produire de véritables perturbations qui se reflètent dans les données.

Une personne effectuant une entrée de données, par exemple, peut facilement ajouter un 0 supplémentaire à la fin d'une valeur par erreur, en prenant l'entrée hors de portée et en produisant une valeur aberrante.

Si vous observez des données d'observation collectées par un capteur d'eau installé dans le port de Baltimore - et que la profondeur de l'eau est de 20 pieds au-dessus du niveau moyen de la mer - vous avez des valeurs aberrantes. Le capteur est manifestement erroné à moins que Baltimore ne soit complètement recouvert d'eau.

Les données peuvent aboutir à des valeurs aberrantes en raison d'événements externes ou d'une erreur d'une personne ou d'un instrument.

Si un événement réel, tel qu'un crash flash, est imputable à une erreur dans le système, ses conséquences sont toujours réelles - mais si vous connaissez la source du problème, vous pouvez conclure qu'il y a une faille dans les données, pas votre modèle, était à blâmer si votre modèle ne prévoyait pas l'événement.

Connaître la source de la valeur aberrante guidera votre décision sur la façon d'y faire face. Les valeurs aberrantes résultant d'erreurs de saisie de données peuvent facilement être corrigées après consultation de la source de données. Les valeurs aberrantes qui reflètent une réalité de changement peuvent vous inviter à modifier votre modèle.

Il n'y a pas de solution unique pour décider d'inclure ou de ne pas tenir compte des données extrêmes qui ne sont pas une erreur ou un problème. Votre réponse dépend de la nature de l'analyse que vous faites et du type de modèle que vous construisez. Dans quelques cas, la façon de traiter ces valeurs extrêmes est simple:

• Si vous tracez votre valeur aberrante à une erreur de saisie de données lorsque vous consultez la source de données, vous pouvez facilement corriger les données et conserver (probablement) le modèle intact.

• Si ce capteur d'eau dans le port de Baltimore signale une profondeur d'eau de 20 pieds au-dessus du niveau moyen de la mer, et que vous êtes à Baltimore, regardez par la fenêtre:

  • Si Baltimore n'est pas complètement recouvert d'eau est évidemment faux.

  • Si vous voyez un poisson vous regarder, la réalité a changé; vous devrez peut-être réviser votre modèle.

• Le crash du flash a peut-être été un événement ponctuel (à court terme, de toute façon), mais ses effets étaient réels - et si vous avez étudié le marché à plus long terme, vous savez que quelque chose de similaire peut se reproduire.Si votre entreprise est en finance et que vous traitez avec le marché boursier tout le temps, vous voulez que votre modèle rende compte de telles aberrations.

En général, si le résultat d'un événement normalement considéré comme aberrant peut avoir un impact significatif sur votre activité, réfléchissez à la manière de traiter ces événements dans votre analyse. Gardez ces points généraux à l'esprit concernant les valeurs aberrantes:

• Plus l'ensemble de données est petit, plus les valeurs aberrantes d'impact peuvent être importantes pour l'analyse.

• Au fur et à mesure que vous développez votre modèle, veillez également à développer des techniques pour trouver des valeurs aberrantes et à comprendre systématiquement leur impact sur votre entreprise.

• La détection des valeurs aberrantes peut être un processus complexe. il n'y a pas de moyen simple de les identifier.

• Un expert en domaine (quelqu'un qui connaît le domaine que vous modélisez) est votre meilleur interlocuteur pour vérifier si un point de données est valide, un point aberrant auquel vous ne tenez pas compte ou un point aberrant. prendre en compte. L'expert du domaine devrait être en mesure d'expliquer quels facteurs ont créé la valeur aberrante, quelle est sa plage de variabilité et son impact sur l'entreprise. Les outils de visualisation peuvent vous aider à repérer les valeurs aberrantes dans les données. En outre, si vous connaissez la plage de valeurs attendue, vous pouvez facilement interroger les données qui se situent en dehors de cette plage.