Comment générer des données dérivées et réduire leur dimensionnalité pour Predictive Analytics - mannequins

Dans cette phase d'exploration prédictive, vous obtiendrez une connaissance intime de vos données, ce qui vous aidera à choisir les variables pertinentes à analyser. Cette compréhension vous aidera également à évaluer les résultats de votre modèle. Mais vous devez d'abord identifier et nettoyer les données pour l'analyse.

Comment générer des données dérivées

Les attributs dérivés sont des enregistrements entièrement nouveaux construits à partir d'un ou de plusieurs attributs existants. Un exemple serait la création de documents identifiant les livres qui sont des best-sellers lors des foires du livre. Les données brutes peuvent ne pas capturer de tels enregistrements - mais à des fins de modélisation, ces enregistrements dérivés peuvent être importants. Le ratio cours / bénéfice et la moyenne mobile de 200 jours sont deux exemples de données dérivées qui sont fortement utilisées dans les applications financières.

Les attributs dérivés peuvent être obtenus à partir d'un calcul simple tel que la déduction de l'âge à la date de naissance. Les attributs dérivés peuvent également être calculés en récapitulant les informations provenant de plusieurs enregistrements.

Par exemple, convertir une table de clients et ses livres achetés en une table peut vous permettre de suivre le nombre de livres vendus via un système de recommandation, par un marketing ciblé et lors d'une foire du livre, et d'identifier la clientèle des clients. acheté ces livres.

La génération de tels attributs supplémentaires apporte un pouvoir prédictif supplémentaire à l'analyse. En fait, beaucoup de ces attributs sont créés de manière à sonder leur pouvoir prédictif potentiel. Certains modèles prédictifs peuvent utiliser plus d'attributs dérivés que les attributs dans leur état brut. Si certains attributs dérivés s'avèrent particulièrement prédictifs et que leur puissance s'avère pertinente, il est logique d'automatiser le processus qui les génère.

Les enregistrements dérivés sont de nouveaux enregistrements qui apportent de nouvelles informations et fournissent de nouvelles façons de présenter des données brutes; ils peuvent être d'une grande valeur pour la modélisation prédictive.

Comment réduire la dimensionnalité de vos données

Les données utilisées dans les modèles prédictifs sont généralement regroupées à partir de plusieurs sources. Votre analyse peut s'appuyer sur des données dispersées dans plusieurs formats de données, fichiers et bases de données ou plusieurs tables dans la même base de données. La mise en commun des données et leur combinaison dans un format intégré pour les modeleurs de données à utiliser est essentielle.

Si vos données contiennent du contenu hiérarchique, vous devrez peut-être l'aplatir . Certaines données ont certaines caractéristiques hiérarchiques telles que les relations parent-enfant ou un enregistrement composé d'autres enregistrements.Par exemple, un produit tel qu'une voiture peut avoir plusieurs fabricants; l'aplatissement des données, dans ce cas, implique l'inclusion de chaque créateur comme une caractéristique supplémentaire de l'enregistrement que vous analysez.

L'aplatissement des données est essentiel lorsqu'il est fusionné à partir de plusieurs enregistrements associés pour former une meilleure image.

Par exemple, l'analyse des effets indésirables de plusieurs médicaments effectués par plusieurs entreprises peut exiger que les données soient aplanies au niveau de la substance. Ce faisant, vous finissez par supprimer les relations un-à-plusieurs (dans ce cas, de nombreux fabricants et de nombreuses substances pour un produit) qui peuvent entraîner une duplication excessive des données en répétant plusieurs entrées répétées informations sur le produit et le fabricant à chaque entrée.

L'aplatissement réduit la dimensionnalité des données, ce qui est représenté par le nombre de caractéristiques qu'un enregistrement ou une observation possède.

Par exemple, un client peut avoir les caractéristiques suivantes: nom, âge, adresse, articles achetés. Lorsque vous lancez votre analyse, vous pouvez vous retrouver à évaluer des enregistrements comportant de nombreuses fonctionnalités, dont certaines seulement sont importantes pour l'analyse. Vous devriez donc éliminer toutes les fonctionnalités, à l'exception des très rares, qui ont le plus de pouvoir prédictif pour votre projet spécifique.

La réduction de la dimensionnalité des données peut être obtenue en plaçant toutes les données dans une seule table qui utilise plusieurs colonnes pour représenter les attributs d'intérêt. Au début de l'analyse, bien sûr, l'analyse doit évaluer un grand nombre de colonnes - mais ce nombre peut être réduit à mesure que l'analyse progresse.

Ce processus peut être aidé en reconstituant les champs - par exemple, en regroupant les données dans des catégories qui ont des caractéristiques similaires.

L'ensemble de données résultant - l'ensemble de données nettoyé - est généralement placé dans une base de données distincte à utiliser par les analystes. Au cours du processus de modélisation, ces données devraient être facilement accessibles, gérées et mises à jour.