Log Analyse des données avec Hadoop - dummies

L'analyse des journaux est un cas d'utilisation courant pour un projet Hadoop inaugural. En effet, les premières utilisations de Hadoop étaient pour l'analyse à grande échelle des logs clickstream - des journaux qui enregistrent des données sur les pages web que les gens visitent et dans quel ordre ils les visitent.

Tous les journaux de données générés par votre infrastructure informatique sont souvent appelés épuisement des données. Un journal est un sous-produit d'un serveur en fonctionnement, un peu comme de la fumée provenant du tuyau d'échappement d'un moteur qui fonctionne. L'épuisement des données a la connotation de la pollution ou des déchets, et de nombreuses entreprises abordent sans aucun doute ce type de données avec cette pensée en tête.

Les données du journal augmentent souvent rapidement, et en raison des volumes élevés produits, il peut être fastidieux d'analyser. Et, la valeur potentielle de ces données est souvent peu claire. La tentation dans les départements informatiques est donc de stocker ces données de logs aussi rapidement que possible. (Après tout, cela coûte de l'argent pour conserver les données, et s'il n'y a pas de valeur commerciale perçue, pourquoi les stocker?)

Mais Hadoop change le calcul: Le coût de stockage des données est relativement peu élevé. traitement par lots à grande échelle des données de journal.

Le cas d'utilisation de l'analyse des données de journal est un endroit utile pour commencer votre voyage Hadoop car il y a de fortes chances que les données avec lesquelles vous travaillez soient supprimées ou «déposées au sol». "Certaines entreprises qui enregistrent régulièrement un téraoctet (TB) ou plus d'activité Web par semaine rejettent les données sans analyse (ce qui vous amène à vous demander pourquoi elles ont pris la peine de les collecter).

Pour commencer rapidement, les données de cet exemple d'utilisation sont généralement faciles à obtenir et n'incluent généralement pas les mêmes problèmes que ceux que vous rencontrerez si vous démarrez votre voyage Hadoop avec d'autres données (régies).

Lorsque les analystes du secteur discutent de l'augmentation rapide des volumes de données existants (4,1 exaoctets à partir de 2014 - plus de 4 millions de disques durs de 1 To), les données de consignation expliquent une bonne partie de cette croissance. Et pas étonnant: Presque chaque aspect de la vie entraîne maintenant la génération de données. Un smartphone peut générer des centaines d'entrées de journal par jour pour un utilisateur actif, en effectuant le suivi non seulement de la voix, du texte et du transfert de données mais également des données de géolocalisation.

La plupart des ménages ont maintenant des compteurs intelligents qui enregistrent leur consommation d'électricité. Les voitures les plus récentes ont des milliers de capteurs qui enregistrent les aspects de leur condition et de leur utilisation. Chaque mouvement de clic et de souris que vous effectuez lorsque vous naviguez sur Internet provoque la génération d'une cascade d'entrées de journal.

Chaque fois que vous achetez quelque chose - même sans utiliser de carte de crédit ou de débit - les systèmes enregistrent l'activité dans des bases de données - et dans des journaux.Vous pouvez voir certaines des sources les plus courantes de données de journal: les serveurs informatiques, les navigateurs Web, les capteurs et les systèmes de transaction.

Chaque industrie (ainsi que tous les types de journaux que nous venons de décrire) présente un énorme potentiel d'analyse précieuse, en particulier lorsque vous pouvez vous concentrer sur un type spécifique d'activité et corréler vos résultats avec un autre ensemble de données.

À titre d'exemple, pensez à cette expérience de navigation et d'achat basée sur le Web:

1. Vous naviguez sur le site à la recherche d'articles à acheter.

2. Vous cliquez pour lire les descriptions d'un produit qui attire votre attention.

3. Finalement, vous ajoutez un article à votre panier et passez à la caisse (l'action d'achat).

Cependant, après avoir vu les frais d'expédition, vous décidez que l'article ne vaut pas le prix et fermez la fenêtre du navigateur. Chaque clic que vous avez fait - et que vous avez ensuite cessé de faire - a le potentiel d'offrir un aperçu précieux à l'entreprise derrière ce site de commerce électronique.

Dans cet exemple, supposons que cette entreprise collecte des données clickstream (données sur chaque clic de souris et chaque page consultée par un visiteur) dans le but de comprendre comment mieux servir ses clients. Un défi commun parmi les entreprises de commerce électronique est de reconnaître les facteurs clés derrière les paniers d'achat abandonnés. Lorsque vous effectuez une analyse plus approfondie sur les données de parcours et examinez le comportement de l'utilisateur sur le site, les modèles sont liés à émerger.

Votre entreprise connaît-elle la réponse à la question apparemment simple: «Certains produits sont-ils abandonnés plus que d'autres? "Ou la réponse à la question," Combien de revenus peuvent être récupérés si vous diminuez l'abandon de panier de 10 pour cent? "Ce qui suit donne un exemple du type de rapports que vous pouvez montrer à vos chefs d'entreprise pour rechercher leur investissement dans votre cause Hadoop.

Pour arriver au point où vous pouvez générer les données pour construire les graphiques affichés, vous isolez les sessions de navigation Web des utilisateurs individuels (un processus connu sous le nom de sessionization) , identifiez le contenu de leurs paniers, puis établissez l'état de la transaction à la fin de la session, tout en examinant les données de parcours.

Voici un exemple d'assemblage des sessions de navigation Web des utilisateurs en regroupant tous les clics et toutes les adresses URL par adresse IP.

Dans un contexte Hadoop, vous travaillez toujours avec des clés et des valeurs - chaque phase de MapReduce entre et sort des données dans des ensembles de clés et de valeurs. La clé est l'adresse IP et la valeur se compose de l'horodatage et de l'URL. Pendant la phase de la carte, les sessions utilisateur sont assemblées en parallèle pour tous les blocs de fichiers du fichier de clics stockés dans votre cluster Hadoop.

La phase de la carte renvoie ces éléments:

• La dernière page visitée

• Une liste d'articles dans le panier

• L'état de la transaction pour chaque session utilisateur (indexée par la clé d'adresse IP) < Le réducteur récupère ces enregistrements et effectue des agrégations pour totaliser le nombre et la valeur des paniers abandonnés par mois et pour fournir les totaux des pages finales les plus courantes que quelqu'un a vues avant la fin de la session utilisateur.