Filtrer les données dont vous avez besoin - mannequins

Lorsque vous explorez des données, vous aurez parfois plus de données que nécessaire pour un projet donné. Voici comment réduire à ce dont vous avez besoin.

Réduction des champs

Lorsque vous avez plusieurs variables dans un jeu de données, il peut être difficile de trouver ou de voir celles qui vous intéressent. Et si vos ensembles de données sont volumineux et que vous n'avez pas besoin de toutes les variables, les extras absorbent inutilement les ressources. Donc, vous avez parfois besoin de garder certaines variables et d'en laisser tomber d'autres. La figure montre un exemple dans KNIME, où le bon outil s'appelle Column Filter.

Un exemple de configuration pour cet outil est illustré dans la figure suivante.

Pour affiner les champs, recherchez un outil de sélection de variables dans votre application d'exploration de données; ceux-ci sont trouvés avec d'autres outils pour la manipulation des données. Comme pour les autres outils d'exploration de données, les noms varient d'un produit à l'autre. Recherchez les variantes sur les mots colonne, variable, ou champ, et sélection ou filtrage.

Sélection des cas pertinents

Les cas avec des données incomplètes peuvent être filtrés avant la construction du modèle. La suppression de cas incomplets est un exemple courant de sélection de données ou de filtrage .

Mais comment sélectionneriez-vous uniquement les cas pertinents pour chaque segment qui vous intéresse? Vous utiliseriez un outil de sélection de données.

La figure suivante montre un outil de sélection de données dans une autre application d'exploration de données.

La figure suivante montre comment vous avez configuré cet outil pour un autre type de sélection, basé sur la valeur d'une variable.

Il est courant d'utiliser ce type de sélection de données, et certaines applications offrent toutes sortes de fonctions intégrées pour vous aider à définir exactement les cas que vous voulez. Celui-ci a des caractéristiques exceptionnelles; il affiche des statistiques récapitulatives pour la variable et vous indique exactement combien de cas répondent aux critères de sélection.

La plupart des applications d'exploration de données ont des outils pour sélectionner uniquement les cas dont vous avez besoin. Regardez dans les menus (ou recherchez) pour sélectionnez le filtre ou .

Échantillonnage

Une notion répandue aujourd'hui est que plus de données sont de meilleures données. Ce n'est pas une nouvelle idée. Les applications d'exploration de données ont toujours été développées pour travailler avec de grandes quantités de données. Même le nom "data mining" suggère de grandes quantités. Mais souvent, travailler avec un échantillon de vos données vous donnera des informations tout aussi utiles, facilitera votre travail et vous permettra de conserver votre temps et vos ressources.

L'échantillonnage joue un rôle important dans l'exploration de données. Si les données sont équilibrées, cela signifie que le modèle a utilisé un nombre égal de cas dans chacun des groupes comparés (dans cet exemple, les groupes étaient des propriétés qui changeaient de mains et de propriétés), même si un groupe avait beaucoup plus de cas que autre dans les données d'origine.

Plus tard, les données ont été divisées, séparées en un sous-ensemble à utiliser pour l'entraînement d'un modèle et un autre pour les tests. L'utilisation d'un seul échantillon de données dans un tracé de coordonnées parallèles peut faciliter la visualisation et l'interprétation. (Les nuages ​​de points avec des milliers de points peuvent être incroyablement difficiles à lire!) Peut-être le plus important de tout, l'échantillonnage réduit simplement la quantité de données, donc les choses vont plus vite.