Graphe Dans Hadoop - mannequins

L'une des technologies émergentes NoSQL les plus intéressantes implique le stockage et le traitement des données graphiques. Vous pourriez penser que cette affirmation est ancienne car les informaticiens développent des techniques d'analyse graphique depuis des décennies. Ce que vous dites peut être vrai, mais ce qui est nouveau, c'est qu'en utilisant Hadoop, vous pouvez faire une analyse graphique à grande échelle.

Qu'est-ce qu'une donnée graphique?

Un graphique en termes de données est simplement une représentation des entités individuelles et de leurs relations. Les entités d'un graphique sont appelées nœuds (ou sommets ), et les relations entre entités dans un graphique sont appelées bords (ou connexions >). La représentation des ensembles de données dans un graphique, par opposition aux lignes et colonnes traditionnelles, facilite considérablement le traitement de vos données de manière à rendre les relations entre les objets parfaitement claires. Les calculs de graphe typiques sont représentés par la distance de chemin la plus courte entre plusieurs nœuds dans votre graphe, ou simplement par combien de nœuds ont des connexions d'un certain type à un nœud spécifique.

Applications pour l'analyse graphique

L'application la plus connue pour les bases de données graphiques est l'algorithme PageRank de Google, qui calcule les relations de liaison entre toutes les pages Web connues. Google représente le Web en tant que graphique géant, où les pages Web sont des nœuds, et les liens d'une page à l'autre sont représentés comme des arêtes. (Google a partagé la richesse en publiant un document décrivant son projet d'analyse graphique - étiqueté Pregel - retour en 2010.) Le traitement de graphique qui intéressait Google impliquait le calcul du nombre de connexions entrantes pour chaque page Web.

Facebook a fait sensation en 2013 en annonçant qu'il utilisait Apache Giraph (basé sur le papier Pregel), un moteur de traitement graphique conçu pour traiter les graphiques stockés dans HDFS. Il a montré la puissance de Giraph en montrant un graphique représentant tous les utilisateurs de Facebook (plus de 1 milliard) et leurs amitiés (milliards!), Qui au total a plus de 1 trillion d'arêtes. Cette échelle est stupéfiante: si vous êtes Facebook et que vous avez besoin de faire des calculs tels que des recommandations d'amis, quel meilleur outil utiliser qu'un moteur de traitement graphique? Il n'est pas surprenant qu'une base de données distribuée de graphes se trouve au cœur de tous les autres sites de médias sociaux notables, y compris Twitter, LinkedIn, OkCupid et Pinterest.

Un moteur de traitement de graphe peut facilement répondre à de nombreuses questions pratiques pour les sites de médias sociaux. Deux exemples sont comment LinkedIn montre les degrés de séparation entre vous et un autre utilisateur est un calcul de chemin le plus court (quelle est la connexion la plus proche entre deux nœuds?) et comment OkCupid montre les utilisateurs ayant des intérêts communs est un ensemble de calculs de filtrage collaboratif (quelles sont les connexions les plus courantes à un ensemble spécifique de nœuds?).

Analyse graphique dans Hadoop

Au printemps 2014, l'analyse graphique sur Hadoop n'en est qu'à ses débuts. Avec l'avènement de YARN dans Hadoop 2, l'analyse graphique et d'autres techniques de traitement spécialisées deviendront de plus en plus populaires sur Hadoop. Beaucoup de sites sociaux mentionnés dans cet article utilisent leurs propres bases de données de graphe propriétaires et moteurs de traitement, mais Facebook est un utilisateur important de Giraph. Parce que le sceau d'approbation de Facebook (implicite), Giraph est devenu un choix populaire pour l'analyse graphique sur Hadoop, mais il a quelques limitations. C'est uniquement un moteur de traitement car il charge les données sous forme de graphique dans la mémoire du cluster et il est optimisé pour les requêtes par lots.

Une autre solution de traitement graphique vient d'Aurelius, une société qui a publié un ensemble d'outils d'analyse graphique open source pour Hadoop. Titan, base de données graphique utilisant HBase comme couche de persistance optimisée pour les requêtes interactives, et Faunus, un moteur de traitement de graphes qui stocke un instantané d'un graphe de Titan dans HDFS et exécute des tâches MapReduce par rapport à lui, sont au cœur de ses offres.. Pour les applications interactives (Titan) et batch (Faunus), Aurelius possède l'API commune de parcours de graphes appelée Gremlin.

Enfin, le projet Apache Spark dispose de l'embranchement GraphX, qui permet la génération de données graphiques, puis le traitement, dans l'environnement Spark.