Comment convertir des données brutes en une matrice d'analyse prédictive - des nuls

Avant de pouvoir extraire des groupes d'éléments de données similaires de votre jeu de données pour votre projet d'analyse prédictive, vous devrez peut-être représenter vos données sous forme tabulaire. format connu sous le nom de matrice de données . C'est une étape de prétraitement qui précède le clustering de données.

Comment créer une matrice d'analyse prédictive des termes dans les documents

Supposons que l'ensemble de données que vous êtes sur le point d'analyser soit contenu dans un ensemble de documents Microsoft Word. La première chose à faire est de convertir l'ensemble des documents en une matrice de données. Plusieurs outils commerciaux et open-source peuvent gérer cette tâche, produisant une matrice dans laquelle chaque ligne correspond à un document dans l'ensemble de données. Les exemples de ces outils comprennent RapidMiner et les packages d'exploration de texte R.

Un document est, en substance, un ensemble de mots. Un terme est un ensemble de un ou plusieurs mots.

Chaque terme qu'un document contient est mentionné une ou plusieurs fois dans le même document. Le nombre de fois qu'un terme est mentionné dans un document peut être représenté par fréquence de terme (TF), une valeur numérique.

Nous construisons la matrice de termes dans le document comme suit:

• Les termes qui apparaissent dans tous les documents sont listés dans la rangée supérieure.

• Les titres de document sont listés dans la colonne la plus à gauche

• Les nombres qui apparaissent dans les cellules de la matrice correspondent à la fréquence de chaque terme.

Par exemple, le document A est représenté comme un ensemble de nombres (5, 16, 0, 19, 0, 0.) où 5 correspond au nombre de fois que le terme analyse prédictive est répété, 16 correspond au nombre de fois informatique répété, et ainsi de suite. C'est le moyen le plus simple de convertir un ensemble de documents en une matrice.

Analyse prédictive	Informatique	Apprentissage	Regroupement	2013	Anthropologie
Document A	5	16	0 < 19	0	0	Document B
8	6	2	3	0	0	Document C
0 < 5	2	3	3	9	Document D	1
9	13	4	6	7 > Document F	2	16
16	0	2	13	Document F	13	0
19	16 > 4	2	Principes de base de la sélection de termes d'analyse prédictive	L'un des défis de la classification de documents texte consiste à déterminer comment sélectionner les meilleurs termes pour représenter tous les documents de la collection. L'importance d'un terme dans une collection de documents peut être calculée de différentes manières.	Si, par exemple, vous comptez le nombre de fois qu'un terme est répété dans un document et comparez ce total avec la fréquence de répétition dans l'ensemble de la collection, vous avez une idée de l'importance du terme par rapport aux autres termes.	L'importance relative d'un terme sur sa fréquence dans une collection est souvent appelée

pondération

. Le poids que vous attribuez peut être basé sur deux principes:

Les termes qui apparaissent plusieurs fois dans un document sont privilégiés par rapport aux termes qui n'apparaissent qu'une seule fois.

Les termes utilisés dans relativement peu de documents sont privilégiés par rapport aux termes mentionnés dans tous les documents. Si (par exemple) le terme siècle

• est mentionné dans tous les documents de votre jeu de données, vous pourriez ne pas lui attribuer suffisamment de poids pour avoir sa propre colonne dans la matrice.

• De même, si vous traitez un ensemble de données d'utilisateurs d'un réseau social en ligne, vous pouvez facilement convertir cet ensemble de données en une matrice. Les noms d'utilisateur ou les noms occuperont les lignes; les colonnes répertorient les fonctionnalités qui décrivent le mieux ces utilisateurs.