Accueil Finances personnelles Social Sentiment Analysis avec Hadoop - mannequins

Social Sentiment Analysis avec Hadoop - mannequins

Vidéo: Censio - HANA & HADOOP - Analyse des sentiments Twitter 2025

Vidéo: Censio - HANA & HADOOP - Analyse des sentiments Twitter 2025
Anonim

L'analyse du sentiment social est facilement la plus les utilisations Hadoop, ce qui ne devrait pas être une surprise, étant donné que le monde est constamment connecté et la population expressive actuelle. Ce cas d'utilisation tire parti du contenu des forums, des blogs et d'autres ressources de médias sociaux pour développer ce que les gens font (par exemple, les événements de la vie) et comment ils réagissent au monde qui les entoure (sentiment).

Parce que les données textuelles ne s'intègrent pas naturellement dans une base de données relationnelle, Hadoop est un endroit pratique pour explorer et exécuter des analyses sur ces données.

La langue est difficile à interpréter, même pour les êtres humains à certains moments - surtout si vous lisez un texte écrit par des personnes appartenant à un groupe social différent du vôtre. Ce groupe de personnes parle peut-être votre langue, mais leurs expressions et leur style sont complètement étrangers, vous n'avez donc aucune idée s'ils parlent d'une bonne expérience ou d'une mauvaise expérience.

Par exemple, si vous entendez le mot bombe en référence à un film, cela pourrait signifier que le film était mauvais (ou bon, si vous faites partie de la jeunesse mouvement qui interprète "It's da bomb" comme un compliment); Bien sûr, si vous êtes dans le domaine de la sécurité aérienne, le mot bomb a une signification tout à fait différente. Le fait est que la langue est utilisée de différentes manières et évolue constamment.

Lorsque vous analysez le sentiment sur les médias sociaux, vous pouvez choisir parmi plusieurs approches. La méthode de base analyse par programme le texte, extrait les chaînes et applique les règles. Dans des situations simples, cette approche est raisonnable. Mais à mesure que les exigences évoluent et que les règles deviennent plus complexes, le codage manuel des extractions de texte devient rapidement impossible du point de vue de la maintenance du code, en particulier pour l'optimisation des performances.

Les approches grammaticales et basées sur des règles pour le traitement de texte sont coûteuses en termes de calcul, ce qui est important dans l'extraction à grande échelle dans Hadoop. Plus les règles sont impliquées (ce qui est inévitable à des fins complexes telles que l'extraction de sentiment), plus le traitement est nécessaire.

Alternativement, une approche basée sur les statistiques devient de plus en plus courante pour l'analyse des sentiments. Plutôt que d'écrire manuellement des règles complexes, vous pouvez utiliser les modèles d'apprentissage automatique axés sur la classification dans Apache Mahout. La capture ici est que vous aurez besoin de former vos modèles avec des exemples de sentiments positifs et négatifs. Plus vous fournissez de données d'entraînement (par exemple, du texte issu des tweets et de votre classification), plus vos résultats sont précis.

Le cas d'utilisation de l'analyse du sentiment social peut s'appliquer à un large éventail d'industries. Par exemple, considérons la salubrité des aliments: Tenter de prévoir ou d'identifier l'éclosion de maladies d'origine alimentaire le plus rapidement possible est extrêmement important pour les responsables de la santé.

La figure suivante montre une application ancrée par Hadoop qui ingère des tweets en utilisant des extracteurs basés sur la maladie potentielle: l'EMPOISONNEMENT par GRIPPE ou ALIMENTAIRE.

Voyez-vous la carte de chaleur générée qui montre l'emplacement géographique des tweets? Une caractéristique des données dans un monde de données volumineuses est que la plupart d'entre elles sont spatialement enrichies: Elles ont des informations sur les localités (et des attributs temporels aussi). Dans ce cas, le profil Twitter a été inversé en recherchant l'emplacement publié.

Il s'avère que beaucoup de comptes Twitter ont des emplacements géographiques dans leurs profils publics (ainsi que des avertissements indiquant clairement que leurs opinions sont les leurs plutôt que de parler pour leurs employeurs).

Quelle est la qualité d'un moteur de prédiction pour les médias sociaux en cas d'épidémie de grippe ou d'intoxication alimentaire? Considérez les exemples de données anonymisés présentés. Vous pouvez voir que les signaux des médias sociaux ont éclipsé tous les autres indicateurs pour prédire une épidémie de grippe dans un comté spécifique des États-Unis à la fin de l'été et au début de l'automne.

Cet exemple montre un autre avantage découlant de l'analyse des médias sociaux: Il vous donne une occasion sans précédent d'examiner les informations d'attribut dans les profils des affiches. Certes, ce que les gens disent d'eux-mêmes dans leurs profils Twitter est souvent incomplet (par exemple, le code d'emplacement n'est pas renseigné) ou non significatif (le code d'emplacement peut dire cloud neuf ).

Mais vous pouvez en apprendre beaucoup sur les gens au fil du temps, en fonction de ce qu'ils disent. Par exemple, un client peut avoir tweeté (posté sur Twitter) l'annonce de la naissance de son bébé, une photo Instagram de son dernier tableau ou un message sur Facebook indiquant qu'elle ne peut pas croire le comportement de Walter White dans la finale Breaking Bad de la nuit dernière.

Dans cet exemple omniprésent, votre société peut extraire un événement de vie qui remplit un graphique de famille (un nouvel enfant est une mise à jour utile pour un profil de gestion de données de base), un hobby (peinture) et un attribut d'intérêt (vous aimez le spectacle Breaking Bad ).

En analysant les données sociales de cette manière, vous avez la possibilité d'étoffer les attributs personnels avec des informations telles que les loisirs, les anniversaires, les événements de la vie, les lieux géographiques (pays, état et ville, etc.). statut, et plus encore.

Supposons que vous soyez le DSI d'une compagnie aérienne. Vous pouvez utiliser les messages de voyageurs fréquents heureux ou en colère non seulement pour déterminer le sentiment, mais aussi pour compléter les profils de clients pour votre programme de fidélisation en utilisant les informations sur les médias sociaux.

Imaginez combien vous pourriez mieux cibler les clients potentiels avec l'information qui vient d'être partagée - par exemple, un courriel indiquant au client que la saison 5 de Breaking Bad est maintenant disponible sur le système média de l'avion ou annoncer que les enfants de moins de deux ans voyagent gratuitement.

C'est aussi un bon exemple de la façon dont les systèmes d'enregistrement (disons les bases de données de vente ou d'abonnement) peuvent répondre aux systèmes d'engagement (par exemple, les canaux de soutien). Bien que l'historique d'échange et de voyage des membres fidèles se trouve dans une base de données relationnelle, le système d'engagement peut mettre à jour les enregistrements (par exemple, une colonne).

Social Sentiment Analysis avec Hadoop - mannequins

Le choix des éditeurs

Conventions de dénomination pour Ruby on Rails - mannequins

Conventions de dénomination pour Ruby on Rails - mannequins

Vous utilisez Ruby on Rails pour créer un site Web application ou application de base de données Web, ce qui est très intelligent de votre part. En fonction de ce que vous utilisez (une application, une relation un-à-plusieurs ou une relation plusieurs-à-plusieurs), vous utilisez différentes variantes des protocoles d'attribution de noms Rails, qui sont expliquées dans les sections suivantes. Ruby Naming for ...

En orbite, panoramique et zoom dans la vue 3D de Blender - mannequins

En orbite, panoramique et zoom dans la vue 3D de Blender - mannequins

En essayant de naviguer dans un espace en trois dimensions à travers un écran bidimensionnel comme un écran d'ordinateur, vous ne pouvez pas interagir avec cet espace 3D virtuel exactement comme vous le feriez dans le monde réel, ou espace de vie. La meilleure façon de visualiser le travail en 3D à travers un programme comme Blender est d'imaginer la vue 3D comme vos yeux ...

Déplacement de clips sur la timeline dans Final Cut Pro HD - Ficelles

Déplacement de clips sur la timeline dans Final Cut Pro HD - Ficelles

Final Cut Pro HD Timeline vous permet d'organiser tous vos clips vidéo et audio afin qu'ils racontent l'histoire que vous voulez raconter. Pour comprendre le fonctionnement de la Timeline, imaginez-la comme une page de partitions, mais plutôt que de placer des notes de musique de différentes durées (noires, demi-notes, ...

Le choix des éditeurs

Contrôle et modification de l'associativité des dimensions dans AutoCAD - Dummies

Contrôle et modification de l'associativité des dimensions dans AutoCAD - Dummies

Lorsque vous ajoutez des dimensions en sélectionnant des objets ou en utilisant l'accrochage aux objets Pour sélectionner des points sur les objets, AutoCAD crée normalement des dimensions associatives, qui sont connectées aux objets et se déplacent avec eux. C'est le cas dans les nouveaux dessins créés à l'origine dans toute version d'AutoCAD à partir de 2002. Si vous ...

Copie de styles de cote existants dans AutoCAD 2008 - mannequins

Copie de styles de cote existants dans AutoCAD 2008 - mannequins

Si vous avez la chance de travailler dans un bureau Quelqu'un a mis en place des styles de cotes qui conviennent à votre secteur d'activité et à votre projet. Vous pouvez le copier et ainsi éviter de devoir créer vos propres styles de cote. (Un style de cote - ou dimstyle pour faire court - est une collection de paramètres de dessin appelée dimension ...

En choisissant un style d'édition AutoCAD -

En choisissant un style d'édition AutoCAD -

Dans AutoCAD vous passez généralement plus de temps à éditer que dessiner des objets. C'est en partie parce que le processus de conception et de rédaction est, par nature, sujet à des changements, et aussi parce que AutoCAD vous permet de modifier facilement les objets proprement. AutoCAD propose trois styles d'édition: Commande-première Sélection-première Objet-direct (poignée) AutoCAD fait référence à l'édition de commandes comme verbe-nom ...

Le choix des éditeurs

Praxis Examen d'éducation élémentaire - Présentations orales - mannequins

Praxis Examen d'éducation élémentaire - Présentations orales - mannequins

Parce que les élèves doivent généralement donner des présentations orales en classe , vous rencontrerez probablement une question sur ce sujet dans l'examen Praxis Elementary Education. Plus formelles que les discussions de groupe, les présentations orales ont leurs propres règles pour le conférencier. Lorsque vous donnez une présentation en classe, il y a plusieurs ...

Praxis Examen d'éducation élémentaire - Littérature et texte d'information - mannequins

Praxis Examen d'éducation élémentaire - Littérature et texte d'information - mannequins

L'examen Praxis Elementary Education sur la littérature et le texte d'information, c'est-à-dire la fiction et la non-fiction. Vous devrez donc vous familiariser avec les différents genres d'écriture. La compréhension du texte est un processus qui se produit au fil du temps.

Praxis Examen d'éducation élémentaire - Connaissance phonologique - mannequins

Praxis Examen d'éducation élémentaire - Connaissance phonologique - mannequins

Vous rencontrerez probablement une ou deux questions qui impliquent des questions phonologiques sensibilisation à l'examen Praxis Elementary Education. La conscience phonologique est une compétence large impliquant la reconnaissance de son. Les lecteurs débutants commencent par apprendre les sons individuels, ou phonèmes, dans des mots parlés. Par exemple, le mot chat a trois phonèmes: / c / / a / / t /. Un lecteur débutant apprend ...