Mettez Vos Big Data ensemble - Mannequins

Comment saurez-vous comment rassembler toutes vos données? Avec un grand projet de données, ce que vous voulez faire de vos données structurées et non structurées indique pourquoi vous pouvez choisir une technologie plutôt qu'une autre. Il détermine également la nécessité de comprendre les structures de données entrantes pour mettre ces données au bon endroit.

Gérer différents types de données pour les mégadonnées

Vous devrez tenir compte de certaines des caractéristiques des mégadonnées et des types de systèmes de gestion de données que vous pourriez utiliser pour les traiter.

Intégrer des types de données dans un environnement Big Data

Un autre aspect important du Big Data est que vous n'avez souvent pas besoin de posséder toutes les données que vous utiliserez. De nombreux exemples font le point. Vous pouvez tirer parti des données de médias sociaux, des données provenant de statistiques de l'industrie tierce, ou même des données provenant de satellites. Pensez juste aux médias sociaux et vous comprendrez.

Souvent, il devient nécessaire d'intégrer différentes sources. Ces données peuvent provenir de tous les systèmes internes, de sources internes et externes, ou de sources entièrement externes. Une grande partie de ces données ont peut-être déjà été mises en silo.

Les données ne doivent pas nécessairement vous être envoyées en temps réel. Vous pouvez en avoir beaucoup et c'est de nature disparate. Cela pourrait encore être considéré comme un gros problème de données. Bien sûr, vous pourriez également être confronté à un scénario où vous voyez d'énormes volumes de données, à des vitesses élevées, et de nature disparate.

Le fait est que vous n'obtiendrez pas la valeur métier si vous traitez une variété de sources de données comme un ensemble de silos d'informations déconnectés.

Les composants dont vous avez besoin incluent des connecteurs et des métadonnées.

Connecteurs

Vous souhaitez disposer de connecteurs vous permettant d'extraire des données à partir de diverses sources de données volumineuses. Peut-être que vous voulez un connecteur Twitter ou un Facebook. Peut-être avez-vous besoin d'intégrer à partir de votre entrepôt de données une grande source de données hors de vos locaux afin de pouvoir analyser ensemble ces deux sources de données.

Métadonnées

Les métadonnées constituent un élément essentiel de l'intégration de toutes ces données. Les métadonnées sont les définitions, les mappages et autres caractéristiques utilisés pour décrire comment trouver, accéder et utiliser les composants de données (et de logiciels) d'une entreprise. Les données sur un numéro de compte sont un exemple de métadonnées. Cela peut inclure le numéro, la description, le type de données, le nom, l'adresse, le numéro de téléphone et le niveau de confidentialité.

Les métadonnées peuvent être utilisées pour organiser vos banques de données et gérer les sources de données nouvelles et changeantes. Bien que l'idée de métadonnées ne soit pas nouvelle, elle change et évolue dans le contexte du big data.Dans le monde des métadonnées traditionnelles, il est important d'avoir un catalogue qui offre une vue unique de toutes les sources de données.

Mais ce catalogue devra être différent si vous ne contrôlez pas toutes ces sources de données. Vous pourriez avoir besoin d'un outil d'analyse qui vous aidera à comprendre les métadonnées sous-jacentes.