Big Data Workflows - les nuls

Pour comprendre les workflows Big Data, vous devez comprendre ce qu'est un processus et comment il est lié au workflow dans les environnements à forte consommation de données. Les processus ont tendance à être conçus comme des structures de haut niveau, de bout en bout, utiles pour la prise de décision et la normalisation de la façon dont les choses sont faites dans une entreprise ou une organisation.

En revanche, les workflows sont orientés sur les tâches et nécessitent souvent des données plus spécifiques que les processus. Les processus comprennent un ou plusieurs flux de travail pertinents pour l'objectif global du processus.

À bien des égards, les workflows Big Data sont similaires aux workflows standard. En fait, dans n'importe quel flux de travail, les données sont nécessaires dans les différentes phases pour accomplir les tâches. Considérez le flux de travail dans une situation de soins de santé.

Un flux de travail élémentaire est le processus de «prélèvement sanguin». «Le prélèvement de sang est une tâche nécessaire pour compléter le processus de diagnostic global. Si quelque chose se produit et que le sang n'a pas été prélevé ou que les données de ce test sanguin ont été perdues, cela aura un impact direct sur la véracité ou la véracité de l'activité globale.

Que se passe-t-il lorsque vous introduisez un workflow qui dépend d'une grande source de données? Bien que vous puissiez utiliser des flux de travail existants, vous ne pouvez pas supposer qu'un processus ou un flux de travail fonctionnera correctement en substituant simplement une source de données volumineuse à une source standard. Cela peut ne pas fonctionner parce que les méthodes de traitement de données standard n'ont pas les approches de traitement ou de performance pour gérer la complexité des grandes données.

L'exemple des soins de santé met l'accent sur la nécessité d'effectuer une analyse après que le sang a été prélevé sur le patient. Dans le flux de données standard, le sang est tapé et certains tests chimiques sont effectués en fonction des besoins du professionnel de la santé.

Il est peu probable que ce flux de travail comprenne les tests requis pour identifier des biomarqueurs spécifiques ou des mutations génétiques. Si vous fournissiez des sources de données volumineuses pour des biomarqueurs et des mutations, le flux de travail échouerait. Il ne s'agit pas de données importantes et il faudra le modifier ou le réécrire pour prendre en charge les mégadonnées.

La meilleure pratique pour comprendre les workflows et l'effet des mégadonnées est la suivante:

• Identifiez les sources de données importantes que vous devez utiliser.

• Mappez les types de données volumineuses sur vos types de données de workflow.

• Assurez-vous que vous disposez de la vitesse de traitement et de l'accès au stockage pour prendre en charge votre flux de travail.

• Sélectionnez le magasin de données le mieux adapté aux types de données.

• Modifiez le flux de travail existant pour accueillir des données volumineuses ou créez un nouveau flux de travail Big Data.

Une fois que vous aurez vos flux de données Big Data, il sera nécessaire de les affiner pour ne pas surcharger ou contaminer votre analyse.Par exemple, de nombreuses sources de données volumineuses n'incluent pas de définitions de données et de métadonnées bien définies concernant les éléments de ces sources. Parfois, ces sources de données n'ont pas été nettoyées. Vous devez vous assurer que vous avez le bon niveau de connaissance sur les sources que vous allez utiliser.