Comment utiliser le streaming de données pour le Big Data - les mannequins

Parfois, à l'approche du big data, les entreprises sont confrontées à d'énormes quantités de données et ne savent pas trop où aller. Entrez le flux de données. Lorsqu'une quantité importante de données doit être traitée rapidement en temps quasi réel pour obtenir des informations, les données en mouvement sous la forme de données en continu constituent la meilleure réponse.

Qu'est-ce que les données et non au repos? Ce sont des systèmes qui gèrent des transactions actives et qui ont donc besoin d'être persistants. Dans ces cas, les données seront stockées dans un magasin de données opérationnel. Toutefois, dans d'autres situations, ces transactions ont été exécutées et il est temps d'analyser ces données généralement dans un entrepôt de données ou un magasin de données.

Cela signifie que les informations sont traitées en batch et non en temps réel. Lorsque les organisations planifient leur avenir, elles doivent être capables d'analyser beaucoup de données, allant de l'information sur ce que les clients achètent et pourquoi. Il est important de comprendre les principaux indicateurs de changement. En d'autres termes, comment les changements auront-ils un impact sur les produits et services qu'une organisation offrira à l'avenir?

De nombreuses organisations de recherche utilisent ce type d'analyse de Big Data pour découvrir de nouveaux médicaments. Une compagnie d'assurance peut vouloir comparer les modèles d'accidents de la circulation à travers une vaste zone géographique avec des statistiques météorologiques. Dans ces cas, il n'y a aucun avantage à gérer cette information en temps réel. Clairement, l'analyse doit être rapide et pratique. En outre, les organisations analyseront les données pour voir si de nouveaux modèles apparaissent.

La diffusion de données en continu est une plateforme informatique analytique axée sur la vitesse. En effet, ces applications nécessitent un flux continu de données souvent non structurées à traiter. Par conséquent, les données sont continuellement analysées et transformées en mémoire avant d'être stockées sur un disque. Le traitement des flux de données fonctionne en traitant les "fenêtres temporelles" des données en mémoire sur un groupe de serveurs.

Cette approche est similaire à celle utilisée lors de la gestion des données au repos grâce à Hadoop. La principale différence est la question de la vitesse. Dans le cluster Hadoop, les données sont collectées en mode de traitement par lots, puis traitées. La vitesse importe moins dans Hadoop que dans le streaming de données. Certains principes clés définissent l'utilisation optimale des flux:

• Lorsqu'il est nécessaire de déterminer une opportunité d'achat au point de vente, via les réseaux sociaux ou via la messagerie basée sur les autorisations

• Collecte d'informations sur le mouvement autour d'un site sécurisé

• Pour pouvoir réagir à un événement nécessitant une réponse immédiate, comme une panne de service ou un changement de l'état de santé d'un patient

• Calcul en temps réel des coûts qui dépendent de variables telles que l'utilisation et ressources disponibles

Les données en continu sont utiles lorsque l'analyse doit être effectuée en temps réel pendant que les données sont en mouvement.En fait, la valeur de l'analyse (et souvent les données) diminue avec le temps. Par exemple, si vous ne pouvez pas analyser et agir immédiatement, une opportunité de vente pourrait être perdue ou une menace pourrait ne pas être détectée.

Voici quelques exemples qui peuvent vous aider à comprendre comment cela est utile.

Une centrale électrique doit être un environnement hautement sécurisé afin que les personnes non autorisées n'interfèrent pas avec la fourniture d'électricité aux clients. Les entreprises placent souvent des capteurs autour du périmètre d'un site pour détecter les mouvements. Mais un problème pourrait exister. Une énorme différence existe entre un lapin qui parcourt le site et une voiture qui circule rapidement et délibérément. Par conséquent, la grande quantité de données provenant de ces capteurs doit être analysée en temps réel afin qu'une alarme ne retentisse que lorsqu'une menace réelle existe.

Une entreprise de télécommunications dans un marché hautement concurrentiel veut s'assurer que les pannes sont surveillées de près afin qu'une baisse détectée des niveaux de service puisse être transmise au groupe approprié. Les systèmes de communication génèrent d'énormes volumes de données qui doivent être analysés en temps réel pour prendre les mesures appropriées. Un retard dans la détection d'une erreur peut sérieusement affecter la satisfaction du client.

Inutile de dire que les entreprises gèrent beaucoup de données qui doivent être traitées et analysées en temps réel. Par conséquent, l'environnement physique qui supporte ce niveau de réactivité est critique. Les environnements de données en continu nécessitent généralement une solution matérielle en cluster, et parfois une approche de traitement massivement parallèle sera nécessaire pour gérer l'analyse.

Un facteur important dans l'analyse des données en continu est le fait qu'il s'agit d'une analyse en un seul passage. En d'autres termes, l'analyste ne peut pas réanalyser les données après leur diffusion. Ceci est courant dans les applications où vous recherchez l'absence de données.

Si plusieurs passages sont nécessaires, les données devront être placées dans un entrepôt où des analyses supplémentaires pourront être effectuées. Par exemple, il est souvent nécessaire d'établir un contexte. Comment ces données de diffusion se comparent-elles aux données historiques? Cette corrélation peut vous en dire beaucoup sur ce qui a changé et ce que ce changement pourrait signifier pour votre entreprise.