Techniques d'analyse et d'extraction pour Big Data - mannequins

En général, les solutions d'analyse de texte pour les mégadonnées utilisent une combinaison de techniques statistiques et de traitement du langage naturel pour extraire des informations à partir de données non structurées. La PNL est un domaine vaste et complexe qui s'est développé au cours des 20 dernières années.

Un objectif principal de la PNL est de dériver le sens du texte. Le traitement du langage naturel utilise généralement des concepts linguistiques tels que les structures grammaticales et les parties du discours. Souvent, l'idée derrière ce type d'analyse est de déterminer qui a fait quoi à qui, quand, où, comment et pourquoi.

La PNL analyse le texte à différents niveaux:

• L'analyse lexicale / morphologique examine les caractéristiques d'un mot individuel - y compris les préfixes, les suffixes, les racines et les parties du discours (nom, verbe, adjectif, et ainsi de suite) - des informations qui contribueront à comprendre ce que le mot signifie dans le contexte du texte fourni. L'analyse lexicale dépend d'un dictionnaire, d'un thésaurus ou de toute liste de mots fournissant des informations sur ces mots.

• L'analyse syntaxique utilise une structure grammaticale pour disséquer le texte et mettre les mots individuels en contexte. Ici, vous élargissez votre regard d'un seul mot à la phrase ou à la phrase complète. Cette étape peut représenter la relation entre les mots (la grammaire) ou rechercher des séquences de mots qui forment des phrases correctes ou des séquences de nombres représentant des dates ou des valeurs monétaires.

• L'analyse sémantique détermine les significations possibles d'une phrase. Cela peut inclure l'examen de l'ordre des mots et de la structure de la phrase et la suppression des ambiguïtés en reliant la syntaxe trouvée dans les phrases, les phrases et les paragraphes.

• L'analyse au niveau du discours tente de déterminer la signification du texte au-delà du niveau de la phrase.

Comprendre les informations extraites du Big Data

Certaines techniques, combinées à d'autres techniques statistiques ou linguistiques pour automatiser le marquage et le balisage des documents texte, peuvent extraire les types d'informations suivants:

• Termes: nom pour les mots-clés.

• Entités: Souvent appelées entités nommées , ce sont des exemples spécifiques d'abstractions. Les exemples sont les noms des personnes, les noms des sociétés, les emplacements géographiques, les informations de contact, les dates, les heures, les devises, les titres et les positions, etc. Par exemple, un logiciel d'analyse de texte peut extraire l'entité Jane Doe en tant que personne référencée dans le texte analysé. L'entité 3 mars 2007 peut être extraite en tant que date, et ainsi de suite.

• Faits: Aussi appelés relations , les faits indiquent les relations de qui / quoi / où entre deux entités. John Smith est le PDG de la société Y et L'aspirine réduit la fièvre sont des exemples de faits.

• Événements: Alors que certains experts utilisent indifféremment les termes fait , relation , et événement , d'autres distinguent événements et faits, déclarant que les événements contiennent généralement une dimension temporelle et provoquent souvent des changements de faits. Les exemples incluent un changement de gestion au sein d'une entreprise ou l'état d'un processus de vente.

• Concepts: Ce sont des ensembles de mots et d'expressions qui indiquent une idée ou un sujet particulier avec lequel l'utilisateur est concerné. Par exemple, le concept client mécontent peut inclure les mots colère, déçu, et confus et les phrases déconnecter le service, ne pas rappeler, et gaspillage d'argent - parmi beaucoup d'autres. Ainsi, le concept client mécontent peut être extrait sans que les mots mécontents ou client n'apparaissent dans le texte.

• Sentiments: L'analyse des sentiments est utilisée pour identifier les points de vue ou les émotions dans le texte sous-jacent. Certaines techniques font cela en classant le texte comme, par exemple, subjectif (opinion) ou objectif (fait), à l'aide de techniques d'apprentissage automatique ou de techniques PNL. L'analyse des sentiments est devenue très populaire dans les types d'applications «voix du client».

Taxonomies de Big Data

Les taxonomies sont souvent essentielles pour l'analyse de texte. Une taxonomie est une méthode d'organisation de l'information en relations hiérarchiques. Il est parfois appelé un moyen d'organiser les catégories. Parce qu'une taxonomie définit les relations entre les termes utilisés par une entreprise, cela facilite la recherche et l'analyse de texte.

Par exemple, un fournisseur de services de télécommunication offre à la fois un service filaire et un service sans fil. Au sein du service sans fil, l'entreprise peut prendre en charge les téléphones cellulaires et l'accès à Internet. La société peut alors avoir deux ou plusieurs façons de catégoriser le service de téléphonie cellulaire, comme les forfaits et les types de téléphones. La taxonomie pourrait atteindre les parties d'un téléphone lui-même.

Les taxonomies peuvent également utiliser des synonymes et des expressions alternatives, reconnaissant que le téléphone portable, le téléphone cellulaire et le téléphone mobile sont tous les mêmes. Ces taxonomies peuvent être assez complexes et peuvent prendre beaucoup de temps à se développer.