Phase 3 du modèle de processus CRISP-DM: Préparation des données - mannequins

Les mineurs de données passent la majeure partie de leur temps sur la troisième phase du modèle de processus standard interindustriel pour l'exploration de données (CRISP-DM): préparation des données. La plupart des données utilisées pour l'exploration de données ont été initialement collectées et conservées à d'autres fins et doivent être affinées avant d'être prêtes à être utilisées pour la modélisation.

La phase de préparation des données comprend cinq tâches . Ce sont

• Sélection de données

• Données de nettoyage

• Construire des données

• Intégrer des données

• Mettre en forme des données

Le guide pas à pas CRISP-DM ne mentionne pas explicitement les datasets comme livrables pour chacun des tâches de préparation des données, mais ces ensembles de données étaient bien meilleurs et ont été correctement archivés et documentés. Les jeux de données ne correspondront pas en tête-à-tête avec les tâches, mais les informations sur les données utilisées doivent être incluses dans chaque rapport livrable.

Tâche: Sélection de données

Vous allez maintenant décider quelle partie des données vous allez utiliser pour l'exploration de données.

Le produit livrable pour cette tâche est la justification de l'inclusion et de l'exclusion. Dans ce document, vous expliquerez quelles données seront et ne seront pas utilisées pour d'autres travaux d'exploration de données.

Vous expliquerez les raisons de l'inclusion ou de l'exclusion de chaque partie des données, en fonction de vos objectifs, de la qualité des données et des problèmes techniques, tels que les limites du nombre de champs ou de lignes que vos outils peuvent gérer, ou l'adéquation des formats de données pour vos besoins.

Tâche: Nettoyage des données

Il est peu probable que les données que vous avez choisies soient parfaitement propres (sans erreur). Vous apporterez des modifications, peut-être en recherchant des corrections de données spécifiques, en excluant certains cas ou cellules individuelles (éléments de données), ou en remplaçant certaines données par des valeurs ou des remplacements sélectionnés par une technique de modélisation plus sophistiquée. Vous pouvez choisir d'utiliser uniquement des sous-ensembles de données pour tout ou partie de votre travail d'exploration de données.

Le livrable pour cette tâche est le rapport de nettoyage des données, qui documente, de manière extrêmement détaillée, chaque décision et action utilisée pour nettoyer vos données. Ce rapport doit couvrir et faire référence à chaque problème de qualité des données identifié dans la tâche de vérification de la qualité des données dans la phase de compréhension des données du processus. Vous signalez également l'impact potentiel sur les résultats des choix que vous avez faits lors du nettoyage des données.

Tâche: Construction de données

Vous devrez peut-être dériver de nouveaux champs (par exemple, utiliser la date de livraison et la date à laquelle un client a passé une commande pour calculer combien de temps le client a attendu pour recevoir une commande) ou créez une nouvelle forme de données.

Les livrables de cette tâche incluent deux rapports:

• Attributs dérivés: Un rapport décrivant les nouveaux champs (colonnes) que vous avez construits, comment vous l'avez fait et pourquoi.

• Enregistrements générés: Un rapport qui décrit les nouveaux cas (lignes) que vous avez construits, comment vous l'avez fait et pourquoi.

Bien que les tâches de données de fusion et de données de format soient listées en dernier dans cette phase du processus, elles ne viennent pas toujours en dernier et peuvent ne pas apparaître une seule fois. Vous devrez peut-être fusionner ou reformater au début de la phase de préparation des données.

Tâche: Intégration des données

Vos données peuvent désormais se trouver dans plusieurs jeux de données disparates. Vous devrez fusionner une partie ou l'ensemble de ces ensembles de données disparates pour vous préparer à la phase de modélisation.

Le livrable pour cette tâche est la donnée fusionnée. (Et il ne serait pas difficile de documenter comment la fusion a été effectuée.)

Tâche: Mise en forme des données

Les données vous viennent souvent dans des formats autres que ceux qui sont les plus pratiques pour la modélisation. (Les modifications de format sont généralement dictées par la conception de vos outils.) Convertissez donc ces formats maintenant.

Le livrable pour cette tâche est vos données reformatées.

Vous devriez terminer la phase de préparation des données du processus d'exploration de données avec un ensemble de données prêt pour la modélisation et un rapport complet décrivant l'ensemble de données.