Horizontale et verticale Gestion de stockage de données - mannequins

La plupart des gestionnaires de bases de données relationnels ont été construits sur un gestionnaire de stockage horizontal , base de données par ligne (ou enregistrement) lorsqu'une transaction se produit. Une table de base de données est représentée comme une chaîne de pages de base de données contenant une ou plusieurs lignes de données.

Un gestionnaire de stockage horizontal fournit une prise en charge du traitement des transactions en ligne rapide (OLTP) car la plupart des transactions se déroulent dans un format d'enregistrement (insertion d'une entrée dans le grand livre ou écriture d'un chèque). Cependant, lorsqu'un utilisateur demande un enregistrement, la page de base de données contenant les données est souvent déplacée en mémoire, ce qui est très inefficace pour les applications de Business Intelligence.

Plusieurs produits de base de données spécialisés ont vu le jour au fil des ans pour aider et optimiser les applications centrées sur les requêtes, telles que la veille économique. De tels produits vous permettent de développer plus facilement des entrepôts de données interactifs. Le but de ces bases de données par colonnes est d'augmenter la vitesse des requêtes d'aide à la décision effectuées sur de grandes quantités de données.

Lorsqu'on demande aux administrateurs de base de données s'ils placent un index sur une colonne contenant le code régional d'une personne, la moyenne pondérée cumulative d'un étudiant ou le total des transactions d'un client, ils répondent «Non! "Ils donnent généralement cette réponse catégorique pour des raisons basées sur la technologie, telles que:

• Nous indexons uniquement sur des chemins standard bien connus (tels que le nom) en raison de la surcharge des index.

• La cardinalité , ou l'occurrence unique de données forcerait la base de données à effectuer une analyse de table de toute façon.

Pourtant, lorsque vous demandez aux utilisateurs les informations dont ils ont besoin pour s'acquitter de leurs tâches, ils répondent à ce type d'exigences:

• Voir le nombre de personnes par indicatif sur mon territoire afin de gérer mes promotions plus efficacement.

• Identifiez les étudiants les mieux classés dans la classe de finissants afin que je puisse organiser les interviews appropriées.

• Déterminez quels clients font affaire avec mon entreprise et dépensent entre 100 000 et 500 000 dollars par an.

Chacune de ces trois exigences caractérise une demande d'utilisateur différente, mais toutes ont des fonctions similaires: Ce sont des requêtes orientées aide à la décision. Un besoin d'accéder à des données entraîne des exigences d'informations utilisateur, mais les modèles d'accès des utilisateurs ne sont pas compatibles avec la plupart des stratégies d'indexation RDBMS. Bref, la technologie RDBMS entrave le succès des applications.

Une table de base de données est représentée comme une chaîne de pages de base de données contenant une ou plusieurs lignes de données, comme indiqué sur cette figure.Un gestionnaire de stockage horizontal fournit une prise en charge rapide du traitement des transactions en ligne (OLTP) car la plupart des transactions se déroulent dans un format d'enregistrement.

Ces bases de données relationnelles facilitent l'activité des requêtes en utilisant des index. Les index sont construits au-dessus des lignes pour simplifier et accélérer la récupération des données sur les chemins communs, comme le montre la figure.

Les solutions d'entreposage de données, telles que la Business Intelligence, n'utilisent pas beaucoup de ces techniques d'indexation, car elles ont été conçues pour aider les applications OLTP à trouver et mettre à jour fréquemment des lignes dans des tables de base de données.

Pour prendre en charge correctement les requêtes utilisateur classiques issues de la Business Intelligence, d'autres techniques de stockage et d'indexation sont requises. Des fournisseurs tels que Sybase et Vertica ont construit des gestionnaires de stockage verticaux. Au lieu de stocker des données par ligne, ces produits stockent les données par colonnes, d'où le nom gestionnaire de stockage vertical ou le stockage par colonne.

Cette méthode de stockage résout efficacement le problème des requêtes des utilisateurs contre de grands ensembles de données car un utilisateur ne recherche souvent que quelques colonnes, par rapport au grand nombre de colonnes gérées dans une rangée par un gestionnaire de stockage horizontal. Avec les données stockées comme une série de changements de page, avec chaque page contenant des données de colonne, le temps de traitement des requêtes est réduit d'un facteur 500 ou plus à 1.

En outre, ces produits prennent en charge d'autres optimisations traitement, y compris la compression de données, les opérations de requête parallèles et les techniques d'indexation multiples par colonne. Le défi dans la mise en œuvre de telles technologies implique la normalisation. Par conséquent, de nombreux services de gestion des données refusent de mettre en œuvre de telles technologies parce que ces technologies nécessitent une main-d'œuvre de soutien supplémentaire.