Préparation de vos données pour Predictive Analytics - mannequins

Lorsque vous avez défini les objectifs du modèle, l'étape suivante de l'analyse prédictive consiste à identifier et à préparer les données que vous utiliserez pour construire votre modèle. Les informations suivantes concernent les activités les plus importantes. La séquence générale des étapes ressemble à ceci:

1. Identifiez vos sources de données.

   Les données peuvent être dans différents formats ou résider dans divers endroits.

2. Identifiez comment vous allez accéder à ces données.

   Parfois, vous devez acquérir des données tierces ou des données appartenant à une division différente de votre organisation, etc.

3. Envisagez les variables à inclure dans votre analyse.

   Une approche standard consiste à commencer avec un large éventail de variables et à éliminer celles qui n'offrent aucune valeur prédictive pour le modèle.

4. Détermine s'il faut utiliser des variables dérivées.

   Dans de nombreux cas, une variable dérivée (telle que le ratio prix / revenu utilisé pour analyser les prix des actions) aurait un impact direct plus important sur le modèle que la variable brute.

5. Explorez la qualité de vos données, en cherchant à comprendre leur état et leurs limites.

   L'exactitude des prédictions du modèle est directement liée aux variables que vous sélectionnez et à la qualité de vos données. Vous voudriez répondre à quelques questions spécifiques aux données à ce stade:

   • Les données sont-elles complètes?
   • Y a-t-il des valeurs aberrantes?
   • Les données doivent-elles être nettoyées?
   • Avez-vous besoin de remplir les valeurs manquantes, de les conserver telles quelles ou de les éliminer complètement?

La compréhension de vos données et de leurs propriétés peut vous aider à choisir l'algorithme qui vous sera le plus utile dans la construction de votre modèle. Par exemple:

• Les algorithmes de régression peuvent être utilisés pour analyser des données de séries temporelles.
• Les algorithmes de classification peuvent être utilisés pour analyser des données discrètes.
• Les algorithmes d'association peuvent être utilisés pour les données avec des attributs corrélés.

Les algorithmes individuels et les techniques prédictives ont des faiblesses et des forces différentes. Plus important encore, la précision du modèle repose sur la quantité et la qualité des données. Vos données doivent contenir un nombre suffisant d'enregistrements pour fournir des résultats statistiquement significatifs.

La collecte de données pertinentes (de préférence de nombreux enregistrements sur une longue période), le prétraitement et l'extraction des entités avec la plupart des valeurs prédictives sont les domaines dans lesquels vous passez la majorité de votre temps. Mais vous devez toujours choisir judicieusement l'algorithme, un algorithme qui devrait être adapté au problème de l'entreprise.

La préparation des données est spécifique au projet sur lequel vous travaillez et à l'algorithme que vous choisissez d'utiliser.En fonction des besoins du projet, vous préparez vos données en conséquence et les alimentez à l'algorithme lorsque vous construisez votre modèle pour répondre aux besoins de l'entreprise.

L'ensemble de données utilisé pour former et tester le modèle doit contenir des informations commerciales pertinentes pour répondre au problème que vous tentez de résoudre. Si votre objectif est (par exemple) de déterminer quel client est susceptible de se retourner, l'ensemble de données que vous choisissez doit contenir des informations sur les clients qui ont déjà effectué un barème et sur les clients qui ne l'ont pas fait.

Certains modèles créés pour extraire des données et donner un sens à leurs relations sous-jacentes - par exemple, ceux construits avec des algorithmes de clustering - n'ont pas besoin d'avoir un résultat final particulier à l'esprit.

Underfitting

Underfitting signifie que votre modèle ne peut détecter aucune relation dans vos données. C'est généralement une indication que les variables essentielles - celles ayant un pouvoir prédictif - n'ont pas été incluses dans votre analyse.

Si les variables utilisées dans votre modèle n'ont pas une puissance prédictive élevée, essayez d'ajouter de nouvelles variables spécifiques au domaine et réexécutez votre modèle. L'objectif final est d'améliorer la performance du modèle sur les données d'entraînement.

Un autre problème à surveiller est saisonnalité (lorsque vous avez des tendances saisonnières, si vous échouez à analyser plusieurs saisons, vous pourriez avoir des problèmes.) Par exemple, une analyse de stock qui inclut uniquement les données d'un taureau. marché (où les prix globaux des actions sont en hausse) ne tient pas compte des crises ou des bulles qui peuvent apporter des corrections majeures à la performance globale des stocks. Si l'on n'inclut pas les données qui couvrent à la fois les marchés baissiers et (lorsque les cours boursiers globaux sont en baisse), le modèle ne permet pas de sélectionner le meilleur portefeuille possible.

Surajustement

Surajustement correspond à l'utilisation de données sans puissance prédictive dans votre modèle, mais uniquement pour l'ensemble de données que vous analysez. Le bruit - variations aléatoires dans l'ensemble de données - peut trouver sa place dans le modèle, de sorte que l'exécution du modèle sur un ensemble de données différent entraîne une baisse importante des performances prédictives et de la précision du modèle.