Accueil Finances personnelles Notions de base distribuées pour le Big Data - nuls

Notions de base distribuées pour le Big Data - nuls

Table des matières:

Vidéo: Introduction au langage R (BIG DATA) 2025

Vidéo: Introduction au langage R (BIG DATA) 2025
Anonim

Si votre entreprise envisage un projet Big Data, il est important de comprendre certaines bases de l'informatique distribuée premier. Il n'y a pas un seul modèle de calcul distribué car les ressources informatiques peuvent être distribuées de plusieurs façons.

Par exemple, vous pouvez distribuer un ensemble de programmes sur le même serveur physique et utiliser les services de messagerie pour leur permettre de communiquer et de transmettre des informations. Il est également possible d'avoir plusieurs systèmes ou serveurs différents, chacun avec sa propre mémoire, qui peuvent travailler ensemble pour résoudre un problème.

Pourquoi l'informatique distribuée est nécessaire pour les mégadonnées

Tous les problèmes ne nécessitent pas de calcul distribué. Si une contrainte de temps importante n'existe pas, un traitement complexe peut être effectué via un service spécialisé à distance. Lorsque les entreprises devaient effectuer une analyse de données complexe, le service informatique transférait les données vers un service ou une entité externe où de nombreuses ressources de rechange étaient disponibles pour le traitement.

Ce n'était pas que les entreprises voulaient attendre pour obtenir les résultats dont elles avaient besoin; Il n'était tout simplement pas économiquement possible d'acheter suffisamment de ressources informatiques pour gérer ces nouvelles exigences. Dans de nombreuses situations, les organisations captureraient uniquement des sélections de données plutôt que d'essayer de capturer toutes les données en raison des coûts. Les analystes voulaient toutes les données, mais ont dû se contenter d'instantanés, espérant capturer les bonnes données au bon moment.

Des percées technologiques et matérielles clés ont révolutionné l'industrie de la gestion de données. Premièrement, l'innovation et la demande ont augmenté la puissance et diminué le prix du matériel. De nouveaux logiciels ont émergé qui ont compris comment tirer parti de ce matériel en automatisant des processus tels que l'équilibrage de charge et l'optimisation sur un grand nombre de nœuds.

Le logiciel incluait des règles intégrées qui comprenaient que certaines charges de travail nécessitaient un certain niveau de performance. Le logiciel traitait tous les nœuds comme s'il s'agissait simplement d'un grand pool de ressources informatiques, de stockage et de réseau, et déplaçait les processus vers un autre nœud sans interruption si un nœud échouait, en utilisant la technologie de virtualisation.

L'économie changeante de l'informatique et du big data

Avance rapide et beaucoup de choses ont changé. Au cours des dernières années, le coût d'achat des ressources informatiques et de stockage a considérablement diminué. Aidé par la virtualisation, les serveurs de base qui pourraient être regroupés et les lames qui pourraient être mises en réseau dans un rack ont ​​changé l'économie de l'informatique. Ce changement a coïncidé avec l'innovation dans les solutions d'automatisation logicielle qui ont considérablement amélioré la gérabilité de ces systèmes.

La capacité de tirer parti des techniques de calcul distribué et de traitement parallèle a radicalement transformé le paysage et réduit considérablement la latence. Il existe des cas particuliers, tels que le trading à haute fréquence (HFT), dans lequel une faible latence ne peut être obtenue qu'en localisant physiquement les serveurs dans un seul emplacement.

Le problème de la latence pour les mégadonnées

L'un des problèmes récurrents de la gestion des données - en particulier de grandes quantités de données - a été l'impact de la latence. Latence est le délai dans un système basé sur les délais d'exécution d'une tâche. La latence est un problème dans tous les aspects de l'informatique, y compris les communications, la gestion des données, la performance du système, et plus encore.

Si vous avez déjà utilisé un téléphone sans fil, vous avez déjà expérimenté la latence. C'est le retard dans les transmissions entre vous et votre appelant. Parfois, la latence a peu d'impact sur la satisfaction de la clientèle, par exemple si les entreprises doivent analyser les résultats en coulisses pour planifier la sortie d'un nouveau produit. Cela ne nécessite probablement pas de réponse ou d'accès instantané.

Cependant, plus cette réponse est proche d'un client au moment de la décision, plus la latence est importante.

L'informatique distribuée et les techniques de traitement parallèle peuvent faire une différence significative dans la latence ressentie par les clients, les fournisseurs et les partenaires. De nombreuses applications de données volumineuses dépendent d'une faible latence en raison des grandes exigences en matière de vitesse, de volume et de variété des données.

Il peut ne pas être possible de construire une application Big Data dans un environnement à latence élevée si des performances élevées sont nécessaires. La nécessité de vérifier les données en temps quasi réel peut également être affectée par la latence. Lorsque vous traitez des données en temps réel, un haut niveau de latence signifie la différence entre le succès et l'échec.

La demande de Big Data répond à des solutions

La croissance d'Internet en tant que plate-forme pour tout, du commerce à la médecine, a transformé la demande pour une nouvelle génération de gestion de données. À la fin des années 1990, des sociétés de moteurs et d'Internet comme Google, Yahoo! et Amazon. com a pu développer ses modèles d'entreprise en tirant parti de matériel peu coûteux pour l'informatique et le stockage.

Ensuite, ces entreprises avaient besoin d'une nouvelle génération de technologies logicielles qui leur permettraient de monétiser les énormes quantités de données qu'ils capturaient auprès des clients. Ces entreprises ne pouvaient pas attendre les résultats du traitement analytique. Ils avaient besoin de la capacité de traiter et d'analyser ces données en temps quasi réel.

Notions de base distribuées pour le Big Data - nuls

Le choix des éditeurs

Comment envoyer une vidéo et des photos avec Flip Video - Dummies

Comment envoyer une vidéo et des photos avec Flip Video - Dummies

Après avoir pris photos et vidéos d'événements dans votre vie avec votre caméra Flip Video, vous pouvez les envoyer par e-mail à vos amis et aux membres de votre famille. Le partage de films et d'images que vous capturez et créez en envoyant un message e-mail vous permet de toucher et de toucher quelqu'un avec vos créations, même si vous êtes à proximité ...

Comment enregistrer le son séparément pour votre film numérique - Les mannequins

Comment enregistrer le son séparément pour votre film numérique - Les mannequins

Ont parfois besoin d'un réalisateur enregistrer le son en utilisant un appareil séparé de l'appareil photo, enregistrer le son séparément, puis synchroniser le son sur la vidéo plus tard, lors de l'édition. Habituellement, la raison en est d'augmenter la qualité du son enregistré car de nombreuses caméras n'enregistrent pas le son aussi bien que ...

Comment enregistrer une vidéo avec un caméscope Flip - Les nuls

Comment enregistrer une vidéo avec un caméscope Flip - Les nuls

Enregistrant des vidéos avec votre caméra Flip est comme facile comme 1-2-3 (et 4). Avant d'enregistrer une vidéo, vérifiez les indicateurs d'état de votre Flip pour vous assurer que votre caméra est complètement chargée et qu'elle a suffisamment de temps d'enregistrement pour capturer la vidéo que vous voulez filmer. Pour vérifier le niveau de charge de la batterie de votre Flip (ou ...

Le choix des éditeurs

Mot Raccourcis des symboles 2016 - des mannequins

Mot Raccourcis des symboles 2016 - des mannequins

Dans Word 2016 vous pouvez insérer des symboles communs en utilisant ces raccourcis clavier. Utilisez ces raccourcis clavier au lieu de la commande Insérer → Symbole pour insérer des symboles typographiques communs. Symbole Raccourci Tableau de bord Alt + Ctrl + signe moins En tableau Ctrl + signe moins Copyright Alt + Ctrl + C Marque déposée Alt + Ctrl + R Marque Alt + Ctrl + T Ellipsis Alt + Ctrl + période

Mot Raccourcis des symboles 2016 - mannequins

Mot Raccourcis des symboles 2016 - mannequins

En fonction de la manière dont vous choisissez d'utiliser Word 2016, vous risquez de devoir faire face pour un symbole spécial. Avec ces raccourcis clavier, vous pouvez insérer des symboles communs dans Word 2016. Utilisez ces raccourcis clavier au lieu de la commande Insérer → Symbole pour insérer des symboles typographiques communs. Symbole Raccourci Tableau de bord Alt + Ctrl + signe moins En tiret ...

Mot Trucs et astuces pour les tables 2013 - mannequins

Mot Trucs et astuces pour les tables 2013 - mannequins

Dans Word 2013, le texte se déverse dans un tableau sur une cellule base de la cellule. Vous pouvez taper un mot, une phrase ou même un paragraphe. Tout ce texte reste dans la cellule, bien que la cellule change de taille pour accueillir de plus grandes quantités de texte. Vous pouvez mettre en forme la cellule d'une table comme n'importe quel paragraphe de Word, en ajoutant même des marges ...

Le choix des éditeurs

Sexe For Dummies Cheat Sheet - les nuls

Sexe For Dummies Cheat Sheet - les nuls

Que vous vous considériez comme un Don Juan, une Lady Chatterly, ou un novice sexuel , tout le monde peut tirer le meilleur parti du sexe avec un peu plus de connaissances. Vous devriez savoir que les préliminaires sont quelque chose que vous devriez prendre en considération avec chaque interaction que vous et votre partenaire avez, ainsi que la façon de garder les choses ...

Mots et significations liés à la ménopause - mannequins

Mots et significations liés à la ménopause - mannequins

Bien que ce soit loin d'être une liste complète des termes que vous pourriez entendre être utilisé lorsque la ménopause est discutée, les cinq termes essentiels suivants devraient vous aider à comprendre les bases. HRT (hormonothérapie substitutive): Un traitement pour compléter les hormones que vous perdez pendant la ménopause - généralement une combinaison d'œstrogènes, ...

Symptômes qui indiquent que la ménopause est proche - mannequins

Symptômes qui indiquent que la ménopause est proche - mannequins

La plupart des femmes commencent à éprouver des symptômes de ménopause déséquilibrés, alors qu'ils ont encore des règles. Si vous ressentez un ou plusieurs des symptômes suivants, consultez votre médecin - vous pouvez être en train d'aborder le changement. Peau sèche ou cheveux Pensée floue (difficulté à se concentrer) Flutters du cœur (battements de cœur rapides) ...