Couche 0 de la pile de données volumineuses: infrastructure physique redondante - mannequins

Au niveau le plus bas de la grande pile de données se trouve l'infrastructure physique. Il se peut que votre entreprise dispose déjà d'un centre de données ou investisse dans des infrastructures physiques. Vous devez donc trouver un moyen d'utiliser les ressources existantes.

Les implémentations Big Data ont des exigences très spécifiques sur tous les éléments de l'architecture de référence. Vous devez donc examiner ces exigences couche par couche pour vous assurer que votre implémentation fonctionnera et évoluera en fonction des besoins de votre entreprise.

Une liste de principes de big data classés par ordre de priorité devrait inclure les énoncés suivants:

• Performances: Quelle est la réactivité dont vous avez besoin pour le système? Les performances, également appelées latence, sont souvent mesurées de bout en bout, en fonction d'une seule transaction ou demande de requête.

• Disponibilité: Avez-vous besoin d'une garantie de disponibilité à 100%? Combien de temps votre entreprise peut-elle attendre en cas d'interruption ou de panne du service?

• Évolutivité: Quelle est la taille de votre infrastructure? Combien d'espace disque est nécessaire aujourd'hui et dans le futur? De combien de puissance de calcul avez-vous besoin? Généralement, vous devez décider de ce dont vous avez besoin, puis ajouter un peu plus d'échelle pour les défis inattendus.

• Flexibilité: Avec quelle rapidité pouvez-vous ajouter plus de ressources à l'infrastructure? À quelle vitesse votre infrastructure peut-elle se rétablir des pannes?

• Coût: Que pouvez-vous vous permettre? Parce que l'infrastructure est un ensemble de composants, vous pourriez être en mesure d'acheter le «meilleur» réseau et décider d'économiser de l'argent sur le stockage. Vous devez établir des exigences pour chacun de ces domaines dans le contexte d'un budget global, puis faire des compromis si nécessaire.

Étant donné que les données volumineuses concernent toutes la grande vitesse, le haut volume et la haute diversité de données, l'infrastructure physique va littéralement «faire ou défaire» la mise en œuvre. La plupart des implémentations de données volumineuses doivent être hautement disponibles, de sorte que les réseaux, les serveurs et le stockage physique doivent être à la fois résilients et redondants. La résilience et la redondance sont interdépendantes.

Une infrastructure ou un système résiste aux défaillances ou aux changements lorsque des ressources redondantes suffisantes sont en place, prêtes à passer à l'action. La redondance garantit qu'un tel dysfonctionnement ne provoquera pas de panne. La résilience aide à éliminer les points de défaillance uniques dans votre infrastructure.

Dans les grands centres de données ayant des exigences en matière de continuité des opérations, la majeure partie de la redondance est en place et peut être exploitée pour créer un environnement de données volumineuses.Dans les nouvelles implémentations, les concepteurs ont la responsabilité de mapper le déploiement aux besoins de l'entreprise en fonction des coûts et des performances.

Cela signifie que la complexité technique et opérationnelle est masquée par une collection de services, chacun avec des termes spécifiques pour les performances, la disponibilité, la récupération, etc. Ces termes sont décrits dans les contrats de niveau de service (SLA) et sont généralement négociés entre le fournisseur de services et le client, avec des pénalités pour non-conformité.

En effet, cela crée un centre de données virtuel. Même avec cette approche, vous devez toujours savoir ce qui est nécessaire pour créer et exécuter un déploiement de données volumineuses afin de pouvoir effectuer les sélections les plus appropriées parmi les offres de service disponibles. En dépit d'un contrat de niveau de service, votre organisation a toujours la responsabilité ultime de la performance.

Réseaux Big Data physiques redondants

Les réseaux doivent être redondants et avoir une capacité suffisante pour prendre en charge le volume et la vitesse anticipés des données entrantes et sortantes, en plus du trafic réseau "normal" subi par l'entreprise. Lorsque vous commencez à intégrer les données volumineuses à votre stratégie informatique, il est raisonnable de s'attendre à une augmentation du volume et de la vélocité.

Les concepteurs d'infrastructures doivent prévoir ces augmentations attendues et essayer de créer des implémentations physiques «élastiques». "Au fur et à mesure que le trafic réseau fluctue, l'ensemble des ressources physiques associées à l'implémentation augmente également. Votre infrastructure devrait offrir des capacités de surveillance afin que les opérateurs puissent réagir lorsque davantage de ressources sont nécessaires pour gérer les changements dans les charges de travail.

Gérer le matériel big data: Stockage et serveurs

De même, les ressources matérielles (stockage et serveur) doivent avoir une vitesse et une capacité suffisantes pour gérer toutes les capacités Big Data attendues. Il est peu utile d'avoir un réseau à haute vitesse avec des serveurs lents car les serveurs vont très probablement devenir un goulot d'étranglement. Cependant, un ensemble très rapide de serveurs de stockage et de calcul peut surmonter les performances réseau variables. Bien sûr, rien ne fonctionnera correctement si les performances du réseau sont faibles ou peu fiables.

Opérations d'infrastructure Big Data

Une autre considération de conception importante est la gestion des opérations d'infrastructure. Les plus hauts niveaux de performance et de flexibilité ne seront présents que dans un environnement bien géré. Les responsables des centres de données doivent être en mesure d'anticiper et de prévenir les pannes catastrophiques afin de préserver l'intégrité des données et, par extension, les processus métier. Les organisations informatiques négligent souvent et donc sous-investissent dans ce domaine.