Vidéo: Censio - HANA & HADOOP - Analyse des sentiments Twitter 2024
L'analyse du sentiment social est facilement la plus les utilisations Hadoop, ce qui ne devrait pas être une surprise, étant donné que le monde est constamment connecté et la population expressive actuelle. Ce cas d'utilisation tire parti du contenu des forums, des blogs et d'autres ressources de médias sociaux pour développer ce que les gens font (par exemple, les événements de la vie) et comment ils réagissent au monde qui les entoure (sentiment).
Parce que les données textuelles ne s'intègrent pas naturellement dans une base de données relationnelle, Hadoop est un endroit pratique pour explorer et exécuter des analyses sur ces données.
La langue est difficile à interpréter, même pour les êtres humains à certains moments - surtout si vous lisez un texte écrit par des personnes appartenant à un groupe social différent du vôtre. Ce groupe de personnes parle peut-être votre langue, mais leurs expressions et leur style sont complètement étrangers, vous n'avez donc aucune idée s'ils parlent d'une bonne expérience ou d'une mauvaise expérience.
Par exemple, si vous entendez le mot bombe en référence à un film, cela pourrait signifier que le film était mauvais (ou bon, si vous faites partie de la jeunesse mouvement qui interprète "It's da bomb" comme un compliment); Bien sûr, si vous êtes dans le domaine de la sécurité aérienne, le mot bomb a une signification tout à fait différente. Le fait est que la langue est utilisée de différentes manières et évolue constamment.
Lorsque vous analysez le sentiment sur les médias sociaux, vous pouvez choisir parmi plusieurs approches. La méthode de base analyse par programme le texte, extrait les chaînes et applique les règles. Dans des situations simples, cette approche est raisonnable. Mais à mesure que les exigences évoluent et que les règles deviennent plus complexes, le codage manuel des extractions de texte devient rapidement impossible du point de vue de la maintenance du code, en particulier pour l'optimisation des performances.
Les approches grammaticales et basées sur des règles pour le traitement de texte sont coûteuses en termes de calcul, ce qui est important dans l'extraction à grande échelle dans Hadoop. Plus les règles sont impliquées (ce qui est inévitable à des fins complexes telles que l'extraction de sentiment), plus le traitement est nécessaire.
Alternativement, une approche basée sur les statistiques devient de plus en plus courante pour l'analyse des sentiments. Plutôt que d'écrire manuellement des règles complexes, vous pouvez utiliser les modèles d'apprentissage automatique axés sur la classification dans Apache Mahout. La capture ici est que vous aurez besoin de former vos modèles avec des exemples de sentiments positifs et négatifs. Plus vous fournissez de données d'entraînement (par exemple, du texte issu des tweets et de votre classification), plus vos résultats sont précis.
Le cas d'utilisation de l'analyse du sentiment social peut s'appliquer à un large éventail d'industries. Par exemple, considérons la salubrité des aliments: Tenter de prévoir ou d'identifier l'éclosion de maladies d'origine alimentaire le plus rapidement possible est extrêmement important pour les responsables de la santé.
La figure suivante montre une application ancrée par Hadoop qui ingère des tweets en utilisant des extracteurs basés sur la maladie potentielle: l'EMPOISONNEMENT par GRIPPE ou ALIMENTAIRE.
Voyez-vous la carte de chaleur générée qui montre l'emplacement géographique des tweets? Une caractéristique des données dans un monde de données volumineuses est que la plupart d'entre elles sont spatialement enrichies: Elles ont des informations sur les localités (et des attributs temporels aussi). Dans ce cas, le profil Twitter a été inversé en recherchant l'emplacement publié.
Il s'avère que beaucoup de comptes Twitter ont des emplacements géographiques dans leurs profils publics (ainsi que des avertissements indiquant clairement que leurs opinions sont les leurs plutôt que de parler pour leurs employeurs).
Quelle est la qualité d'un moteur de prédiction pour les médias sociaux en cas d'épidémie de grippe ou d'intoxication alimentaire? Considérez les exemples de données anonymisés présentés. Vous pouvez voir que les signaux des médias sociaux ont éclipsé tous les autres indicateurs pour prédire une épidémie de grippe dans un comté spécifique des États-Unis à la fin de l'été et au début de l'automne.
Cet exemple montre un autre avantage découlant de l'analyse des médias sociaux: Il vous donne une occasion sans précédent d'examiner les informations d'attribut dans les profils des affiches. Certes, ce que les gens disent d'eux-mêmes dans leurs profils Twitter est souvent incomplet (par exemple, le code d'emplacement n'est pas renseigné) ou non significatif (le code d'emplacement peut dire cloud neuf ).
Mais vous pouvez en apprendre beaucoup sur les gens au fil du temps, en fonction de ce qu'ils disent. Par exemple, un client peut avoir tweeté (posté sur Twitter) l'annonce de la naissance de son bébé, une photo Instagram de son dernier tableau ou un message sur Facebook indiquant qu'elle ne peut pas croire le comportement de Walter White dans la finale Breaking Bad de la nuit dernière.
Dans cet exemple omniprésent, votre société peut extraire un événement de vie qui remplit un graphique de famille (un nouvel enfant est une mise à jour utile pour un profil de gestion de données de base), un hobby (peinture) et un attribut d'intérêt (vous aimez le spectacle Breaking Bad ).
En analysant les données sociales de cette manière, vous avez la possibilité d'étoffer les attributs personnels avec des informations telles que les loisirs, les anniversaires, les événements de la vie, les lieux géographiques (pays, état et ville, etc.). statut, et plus encore.
Supposons que vous soyez le DSI d'une compagnie aérienne. Vous pouvez utiliser les messages de voyageurs fréquents heureux ou en colère non seulement pour déterminer le sentiment, mais aussi pour compléter les profils de clients pour votre programme de fidélisation en utilisant les informations sur les médias sociaux.
Imaginez combien vous pourriez mieux cibler les clients potentiels avec l'information qui vient d'être partagée - par exemple, un courriel indiquant au client que la saison 5 de Breaking Bad est maintenant disponible sur le système média de l'avion ou annoncer que les enfants de moins de deux ans voyagent gratuitement.
C'est aussi un bon exemple de la façon dont les systèmes d'enregistrement (disons les bases de données de vente ou d'abonnement) peuvent répondre aux systèmes d'engagement (par exemple, les canaux de soutien). Bien que l'historique d'échange et de voyage des membres fidèles se trouve dans une base de données relationnelle, le système d'engagement peut mettre à jour les enregistrements (par exemple, une colonne).
