Vidéo: H2O, l'analyse prédictive sans coder ... ou presque (Claude Falguiere) 2024
A (ou collecte de données) est un ensemble d'éléments dans l'analyse prédictive. Par exemple, un ensemble de documents est un ensemble de données dans lequel les éléments de données sont des documents. Un ensemble d'informations d'utilisateurs de réseaux sociaux (nom, âge, liste d'amis, photos, etc.) est un ensemble de données dans lequel les éléments de données sont des profils d'utilisateurs de réseaux sociaux. Le regroupement de données
consiste à diviser un ensemble de données en sous-ensembles d'éléments similaires. Les éléments peuvent également être appelés instances, observation, entités ou objets de données. Dans la plupart des cas, un jeu de données est représenté sous la forme d'un tableau - une matrice de données . Une matrice de données est une table de nombres, de documents ou d'expressions, représentée par des lignes et des colonnes comme suit:
-
Les lignes sont parfois appelées
éléments, objets, instances ou observations. Chaque colonne représente une caractéristique particulière d'un article.
-
Les colonnes sont appelées des entités ou attributs
. L'application de la classification de données à un ensemble de données génère des groupes d'éléments de données similaires. Ces groupes sont appelés
clusters - collections d'éléments de données similaires.
ont une relation forte et mesurable entre eux - les légumes frais, par exemple, sont plus semblables les uns aux autres que les aliments congelés - et les techniques de regroupement utilisent cette relation pour grouper Les objets. La force d'une relation entre deux éléments ou plus peut être quantifiée comme une mesure de similarité
: Une fonction mathématique calcule la corrélation entre deux éléments de données. Les résultats de ce calcul, appelés valeurs de similarité, comparent essentiellement un élément de données particulier à tous les autres éléments de l'ensemble de données. Ces autres éléments seront soit plus similaires ou moins similaires par rapport à cet élément spécifique.
clusters ). Chaque groupe a un objet qui le représente le mieux; cet élément est appelé représentant du cluster . Considérez un jeu de données composé de plusieurs types de fruits dans un panier. Le panier a des fruits de différents types tels que les pommes, les bananes, les citrons et les poires. Dans ce cas, les fruits sont les éléments de données. Le processus de clustering de données extrait des groupes de fruits similaires de cet ensemble de données (panier de fruits différents).
La première étape d'un processus de regroupement de données consiste à traduire cet ensemble de données en une matrice de données: Une façon de modéliser cet ensemble de données consiste à faire en sorte que les lignes représentent les éléments de l'ensemble de données (fruits); et les colonnes représentent des caractéristiques ou des caractéristiques qui décrivent les éléments.
Par exemple, une caractéristique de fruit peut être le type de fruit (comme une banane ou une pomme), le poids, la couleur ou le prix. Dans cet exemple de jeu de données, les éléments ont trois caractéristiques: le type de fruit, la couleur et le poids.
Dans la plupart des cas, l'application d'une technique de regroupement de données à l'ensemble de données de fruits comme décrit ci-dessus vous permet de
récupérer des groupes (groupes) d'éléments similaires.
-
Vous pouvez dire que votre fruit est de N nombre de groupes. Après cela, si vous choisissez un fruit aléatoire, vous serez en mesure de faire une déclaration à propos de cet élément comme faisant partie d'un des N groupes. Récupérer les représentants du cluster de chaque groupe.
-
Dans cet exemple, un représentant de la grappe sélectionnait un type de fruit du panier et le mettait de côté. Les caractéristiques de ce fruit sont telles que ce fruit représente le mieux le groupe auquel il appartient. Lorsque vous avez terminé le regroupement, votre ensemble de données est organisé et divisé en groupes naturels.
Le regroupement de données révèle la structure dans les données en extrayant des regroupements naturels d'un ensemble de données. Par conséquent, la découverte de grappes est une étape essentielle pour formuler des idées et des hypothèses sur la structure de vos données et en tirer des conclusions pour mieux les comprendre.
Le clustering de données peut également être un moyen de modéliser des données: il représente un ensemble de données plus important par cluster ou représentant de cluster.
En outre, votre analyse peut simplement chercher à diviser les données en groupes d'éléments similaires - comme lorsque
segmentation du marché partitionne les données du marché cible en groupes tels que Consommateurs partageant les mêmes intérêts (tels que la cuisine méditerranéenne)
-
Consommateurs ayant des besoins communs (par exemple ceux ayant des allergies alimentaires spécifiques)
-
Identifier des groupes de clients similaires peut vous aider à développer une stratégie marketing répondant aux besoins de groupes spécifiques.
De plus, le clustering de données peut également vous aider à identifier, apprendre ou prédire la nature de nouveaux éléments de données - en particulier la façon dont les nouvelles données peuvent être liées à la réalisation de prédictions. Par exemple, dans
pattern recognition , l'analyse des modèles (tels que les habitudes d'achat dans des régions ou des groupes d'âge particuliers) peut vous aider à développer des analyses prédictives - dans ce cas, prédire la nature des futures données s'intègre bien avec les modèles établis. L'exemple du panier de fruits utilise la classification des données pour distinguer les différents éléments de données. Supposons que votre entreprise assemble des paniers de fruits personnalisés et qu'un nouveau fruit inconnu soit introduit sur le marché. Vous voulez apprendre ou prédire à quel groupe le nouvel article appartiendra si vous l'ajoutez à la corbeille de fruits.
Étant donné que vous avez déjà appliqué le regroupement de données à l'ensemble de données sur les fruits, vous disposez de quatre groupes, ce qui facilite la prédiction de la grappe (type de fruit spécifique) appropriée pour le nouvel article. Tout ce que vous avez à faire est de comparer le fruit inconnu aux représentants des quatre autres clusters et d'identifier quel cluster est le meilleur.
Bien que ce processus puisse sembler évident pour une personne travaillant avec un petit ensemble de données, il n'est pas si évident à plus grande échelle - quand vous devez regrouper des millions d'éléments sans examiner chacun d'eux.La complexité devient exponentielle lorsque l'ensemble de données est volumineux, diversifié et relativement incohérent - c'est pourquoi les algorithmes de cluster existent: Les ordinateurs font ce type de travail le mieux.
