Données non structurées dans un environnement Big Data - Les données non structurées

Les données non structurées sont des données qui ne suivent pas un format spécifié pour les mégadonnées. Si 20% des données disponibles pour les entreprises sont des données structurées, les 80% restants sont non structurés. Les données non structurées sont vraiment la plupart des données que vous rencontrerez. Jusqu'à récemment, cependant, la technologie ne supportait pas vraiment de faire beaucoup avec elle, sauf le stocker ou l'analyser manuellement.

Sources de données volumineuses non structurées

Les données non structurées sont partout. En fait, la plupart des individus et des organisations mènent leur vie autour de données non structurées. Tout comme pour les données structurées, les données non structurées sont soit générées par des machines, soit générées par des utilisateurs.

Voici quelques exemples de données non structurées générées par machine:

• Images satellites: Ceci inclut les données météorologiques ou les données que le gouvernement saisit dans ses images de surveillance par satellite. Pensez à Google Earth, et vous obtenez l'image.

• Données scientifiques: Ceci inclut l'imagerie sismique, les données atmosphériques et la physique des hautes énergies.

• Photographies et vidéos: Cela inclut la sécurité, la surveillance et la vidéo de la circulation.

• Données radar ou sonar: Ceci inclut les profils sismiques véhiculaires, météorologiques et océanographiques.

La liste suivante montre quelques exemples de données non structurées générées par l'homme:

• Texte interne à votre entreprise: Pensez à tout le texte contenu dans les documents, les journaux, les résultats de l'enquête et les e-mails. Les informations d'entreprise représentent en réalité un pourcentage important des informations textuelles dans le monde aujourd'hui.

• Données sur les médias sociaux: Ces données proviennent des plateformes de médias sociaux telles que YouTube, Facebook, Twitter, LinkedIn et Flickr.

• Données mobiles: Cela inclut les données telles que les messages texte et les informations de localisation.

• Contenu du site: Cela provient de tout site fournissant du contenu non structuré, tel que YouTube, Flickr ou Instagram.

Et la liste continue.

Certaines personnes croient que le terme données non structurées est trompeur, car chaque document peut contenir sa propre structure ou mise en forme en fonction du logiciel qui l'a créé. Cependant, ce qui est interne au document est vraiment non structuré.

De loin, les données non structurées constituent la partie la plus importante de l'équation de données, et les cas d'utilisation de données non structurées augmentent rapidement. Du seul côté du texte, l'analyse textuelle peut être utilisée pour analyser du texte non structuré et extraire des données pertinentes et transformer ces données en informations structurées pouvant être utilisées de diverses manières.

Par exemple, un cas d'utilisation de données volumineuses très répandu est l'analyse des médias sociaux à utiliser avec des conversations client de haut volume. En outre, les données non structurées provenant des notes du centre d'appels, des courriels, des commentaires écrits dans un sondage et d'autres documents sont analysés pour comprendre le comportement des clients. Cela peut être combiné avec les médias sociaux de dizaines de millions de sources pour comprendre l'expérience client.

Le rôle d'un CMS dans la gestion des big data

Les organisations stockent des données non structurées dans des bases de données. Cependant, ils utilisent également des systèmes de gestion de contenu d'entreprise (CMS) qui peuvent gérer le cycle de vie complet du contenu. Cela peut inclure du contenu Web, du contenu de document et d'autres supports.

Selon l'Association pour la gestion de l'information et de l'image (AIIM), une organisation à but non lucratif qui fournit éducation, recherche et meilleures pratiques, Enterprise Content Management (ECM) comprend les stratégies, méthodes et outils utilisés pour capturer, gérer, stocker, conserver et fournir du contenu et des documents liés aux processus organisationnels. «Les technologies incluses dans ECM incluent la gestion de documents, la gestion des enregistrements, l'imagerie, la gestion des flux de travail, la gestion de contenu Web et la collaboration.

Toute une industrie s'est développée autour de la gestion du contenu, et de nombreux fournisseurs de solutions de gestion du contenu étendent leurs solutions pour gérer de gros volumes de données non structurées. Cependant, les nouvelles technologies évoluent également pour aider à soutenir les données non structurées et l'analyse des données non structurées. Certains d'entre eux prennent en charge des données structurées et non structurées. Certains prennent en charge les flux en temps réel. Cela inclut des technologies comme Hadoop, MapReduce et le streaming.

Les systèmes conçus pour stocker du contenu sous la forme de systèmes de gestion de contenu ne sont plus des solutions autonomes. Au contraire, ils sont susceptibles de faire partie d'une solution globale de gestion des données. Par exemple, votre organisation peut surveiller les flux Twitter qui peuvent ensuite déclencher par programmation une recherche de CMS.

Maintenant, la personne qui a déclenché le tweet reçoit une réponse qui offre un endroit où l'individu peut trouver le produit qu'il ou elle pourrait rechercher. Le plus grand avantage est quand ce type d'interaction peut se produire en temps réel. Il illustre également la valeur de l'exploitation en temps réel des données non structurées et structurées (données des clients sur la personne qui a tweeté) et des données semi-structurées (le contenu réel dans le système de gestion de contenu).

La réalité est que vous utiliserez probablement une approche hybride pour résoudre vos problèmes de big data. Par exemple, il n'est pas logique de déplacer tout votre contenu d'actualités, par exemple, dans Hadoop dans vos locaux car il est supposé aider à gérer les données non structurées.