Accueil Finances personnelles Graphe Dans Hadoop - mannequins

Graphe Dans Hadoop - mannequins

Table des matières:

Vidéo: What is Hadoop Distributed File System (HDFS)? 2025

Vidéo: What is Hadoop Distributed File System (HDFS)? 2025
Anonim

L'une des technologies émergentes NoSQL les plus intéressantes implique le stockage et le traitement des données graphiques. Vous pourriez penser que cette affirmation est ancienne car les informaticiens développent des techniques d'analyse graphique depuis des décennies. Ce que vous dites peut être vrai, mais ce qui est nouveau, c'est qu'en utilisant Hadoop, vous pouvez faire une analyse graphique à grande échelle.

Qu'est-ce qu'une donnée graphique?

Un graphique en termes de données est simplement une représentation des entités individuelles et de leurs relations. Les entités d'un graphique sont appelées nœuds (ou sommets ), et les relations entre entités dans un graphique sont appelées bords (ou connexions >). La représentation des ensembles de données dans un graphique, par opposition aux lignes et colonnes traditionnelles, facilite considérablement le traitement de vos données de manière à rendre les relations entre les objets parfaitement claires. Les calculs de graphe typiques sont représentés par la distance de chemin la plus courte entre plusieurs nœuds dans votre graphe, ou simplement par combien de nœuds ont des connexions d'un certain type à un nœud spécifique.

Applications pour l'analyse graphique

L'application la plus connue pour les bases de données graphiques est l'algorithme PageRank de Google, qui calcule les relations de liaison entre toutes les pages Web connues. Google représente le Web en tant que graphique géant, où les pages Web sont des nœuds, et les liens d'une page à l'autre sont représentés comme des arêtes. (Google a partagé la richesse en publiant un document décrivant son projet d'analyse graphique - étiqueté Pregel - retour en 2010.) Le traitement de graphique qui intéressait Google impliquait le calcul du nombre de connexions entrantes pour chaque page Web.

Facebook a fait sensation en 2013 en annonçant qu'il utilisait Apache Giraph (basé sur le papier Pregel), un moteur de traitement graphique conçu pour traiter les graphiques stockés dans HDFS. Il a montré la puissance de Giraph en montrant un graphique représentant tous les utilisateurs de Facebook (plus de 1 milliard) et leurs amitiés (milliards!), Qui au total a plus de 1 trillion d'arêtes. Cette échelle est stupéfiante: si vous êtes Facebook et que vous avez besoin de faire des calculs tels que des recommandations d'amis, quel meilleur outil utiliser qu'un moteur de traitement graphique? Il n'est pas surprenant qu'une base de données distribuée de graphes se trouve au cœur de tous les autres sites de médias sociaux notables, y compris Twitter, LinkedIn, OkCupid et Pinterest.

Un moteur de traitement de graphe peut facilement répondre à de nombreuses questions pratiques pour les sites de médias sociaux. Deux exemples sont comment LinkedIn montre les degrés de séparation entre vous et un autre utilisateur est un calcul de chemin le plus court (quelle est la connexion la plus proche entre deux nœuds?) et comment OkCupid montre les utilisateurs ayant des intérêts communs est un ensemble de calculs de filtrage collaboratif (quelles sont les connexions les plus courantes à un ensemble spécifique de nœuds?).

Analyse graphique dans Hadoop

Au printemps 2014, l'analyse graphique sur Hadoop n'en est qu'à ses débuts. Avec l'avènement de YARN dans Hadoop 2, l'analyse graphique et d'autres techniques de traitement spécialisées deviendront de plus en plus populaires sur Hadoop. Beaucoup de sites sociaux mentionnés dans cet article utilisent leurs propres bases de données de graphe propriétaires et moteurs de traitement, mais Facebook est un utilisateur important de Giraph. Parce que le sceau d'approbation de Facebook (implicite), Giraph est devenu un choix populaire pour l'analyse graphique sur Hadoop, mais il a quelques limitations. C'est uniquement un moteur de traitement car il charge les données sous forme de graphique dans la mémoire du cluster et il est optimisé pour les requêtes par lots.

Une autre solution de traitement graphique vient d'Aurelius, une société qui a publié un ensemble d'outils d'analyse graphique open source pour Hadoop. Titan, base de données graphique utilisant HBase comme couche de persistance optimisée pour les requêtes interactives, et Faunus, un moteur de traitement de graphes qui stocke un instantané d'un graphe de Titan dans HDFS et exécute des tâches MapReduce par rapport à lui, sont au cœur de ses offres.. Pour les applications interactives (Titan) et batch (Faunus), Aurelius possède l'API commune de parcours de graphes appelée Gremlin.

Enfin, le projet Apache Spark dispose de l'embranchement GraphX, qui permet la génération de données graphiques, puis le traitement, dans l'environnement Spark.

Graphe Dans Hadoop - mannequins

Le choix des éditeurs

Comment créer et éditer des tableaux dans AutoCAD 2014 - mannequins

Comment créer et éditer des tableaux dans AutoCAD 2014 - mannequins

AutoCAD 2014 vous fournit avec bonheur la TABLE commande pour vos besoins de table. Après avoir créé un style de tableau approprié, l'ajout d'une table à un dessin est facile, avec la commande TABLE. Voici comment: Définir un courant de couche approprié. En supposant que vous laissez la couleur, le type de ligne et le poids de ligne définis sur ByLayer, le calque courant est ...

Comment créer et restaurer une vue nommée dans AutoCAD 2014 - les nuls

Comment créer et restaurer une vue nommée dans AutoCAD 2014 - les nuls

Si vous avez plusieurs fois Pour effectuer un zoom et effectuer un panoramique sur la même zone dans AutoCAD 2014, vous pouvez rapidement voir ce que vous voulez en utilisant une vue nommée. Après avoir nommé et enregistré une vue d'une zone particulière d'un dessin, vous pouvez revenir rapidement à cette zone en restaurant la vue. Vous utilisez ...

Comment créer un nouveau dessin à partir d'un dessin de modèle dans AutoCAD 2014 - les nuls

Comment créer un nouveau dessin à partir d'un dessin de modèle dans AutoCAD 2014 - les nuls

Lorsque vous démarrez dans l'espace de travail Drafting & Annotation ou dans l'ancien espace de travail AutoCAD Classic, AutoCAD 2014 crée un nouveau dessin vide configuré pour le dessin 2D. Selon l'endroit où vous vivez (votre pays, pas votre adresse postale!) Et le système de mesure dominant utilisé, AutoCAD basera ce nouveau dessin sur l'un des ...

Le choix des éditeurs

Automatiser les contrôles de sécurité du courrier électronique pour empêcher les piratages par courrier électronique - dummies

Automatiser les contrôles de sécurité du courrier électronique pour empêcher les piratages par courrier électronique - dummies

Le courrier électronique est un point d'entrée commun pour les attaques de piratage sur tous les types de systèmes - Windows, Linux, Unix - vous l'appelez. Vous pouvez implémenter les contre-mesures suivantes en tant que couche de sécurité supplémentaire pour vos systèmes de messagerie: Tarpitting: Tarpitting détecte les messages entrants destinés à des utilisateurs inconnus. Si votre serveur de messagerie prend en charge le tarpitting, il peut ...

ÉValue les vulnérabilités avec Hacks éthiques - mannequins

ÉValue les vulnérabilités avec Hacks éthiques - mannequins

Si vous trouvez des failles de sécurité potentielles, la prochaine étape consiste à confirmer vulnérabilités dans votre système ou votre réseau. Avant de tester, effectuez une recherche manuelle. Vous pouvez rechercher des babillards hackers, des sites Web et des bases de données de vulnérabilités, telles que: Common Vulnerabilities and Exposures Base de données de vulnérabilités US-CERT NIST National Vulnerability Database Ces sites répertorient les ...

Authentification des utilisateurs VPN Enterprise Mobile - Mannequins

Authentification des utilisateurs VPN Enterprise Mobile - Mannequins

Avant d'autoriser l'accès au réseau d'entreprise à partir de n'importe quel appareil mobile , vous devez d'abord identifier l'utilisateur. Un type de validation d'identité d'utilisateur est l'authentification. L'authentification de l'utilisateur est la validation qu'un utilisateur est vraiment ce qu'elle dit être. En d'autres termes, l'authentification de l'utilisateur prouve que la personne qui tente de se connecter à ...

Le choix des éditeurs

Pourquoi Word Knowledge est important pour ASVAB - mannequins

Pourquoi Word Knowledge est important pour ASVAB - mannequins

Mot La connaissance ne fait pas partie de l'ASVAB juste parce que l'armée aime utiliser de grands mots. C'est inclus parce que les mots représentent des idées, et plus vous comprenez de mots, plus vous pouvez comprendre d'idées (et mieux vous pouvez communiquer avec les autres). Un vocabulaire décent est essentiel dans l'armée si vous voulez ...

Comprendre le Big Four sur l'ASVAB: vos scores AFQT - les nuls

Comprendre le Big Four sur l'ASVAB: vos scores AFQT - les nuls

L'ASVAB pas de score global. Quand vous entendez quelqu'un dire: «J'ai un 80 sur mon ASVAB», cette personne parle du score du test de qualification des forces armées (AFQT), pas un score global ASVAB. Le score AFQT détermine si vous pouvez même vous enrôler dans l'armée, et seulement quatre des sous-tests ...