www.sadasdb.com

Sadas Engine est un SGBD en colonnes destinée aux entrepôts de données capable de stocker et gérer d'énormes quantités de données, avec des performances exceptionnelles pendant les phases d'ETL et de requêtes : de 10 à 100 fois plus rapides que les BDD traditionnelles.

Sadas Engine + QlikView : étude de cas

SADAS ENGINE QLIKVIEW

L’ÉTUDE DE CAS

LE PROBLEME : QLIKVIEW SUR LES ENTREPÔTS DE DONNÉES

QlikView est un produit de veille stratégique d'exploration de données pour créer des applications personnalisées et des analyses guidées. QlikView offre la possibilité d'explorer les données, de découvrir de nouvelles connaissances et de les partager.

L'interaction entre QlikView et Sadas Engine a été évaluée sur une base de données de test (appelée TPCH) générée et alimentée par Sadas Engine afin de faire des comparaisons.Le même schéma a été adopté et reproduit dans quatre bases de données TPCH différentes d'environ 2, 4, 6 et 10 go chacune, dorénavant dénommées TPCH-2, TPCH-4, TPCH-6 et TPCH-10 respectivement. Sur ces bases de données, une application de BI de test a été développée avec QlikView.

QlikView stocke les données en mémoire. Il peut ainsi mettre à jour les données en temps réel, ce qui permet des explorations immédiates et interactives. Mais la force de QlikView est aussi sa faiblesse : quand on importe de grandes bases de données, le fichier .qvw peut facilement prendre une taille qui affecte (voire empêche) l'utilisation du produit.Sur les TPCH-2 et TPCH-4, QlikView gère efficacement l'importation complète de la BDD, maintient de bons temps de réponse et l'utilisation du logiciel est simple. Sur le TPCH-6, la situation devient plus critique : les temps de réponse sont allongés et la charge de travail de la machine de test est plus importante. Enfin, sur le TPCH-10, la convivialité du logiciel est sérieusement compromise : l'exploration rapide et interactive des données est stressée à la limite, les temps de représentation des graphiques et tables sont encore plus longs, et l'application comme le système d'exploitation sont souvent bloqués. La raison en est que, lorsque QlikView est engagé dans la représentation d'objets graphiques, la limite physique de la mémoire peut être atteinte et la mémoire RAM peut être facilement saturée, entraînant une détérioration drastique des performances. C'est notamment le cas quand les filtres sont supprimés et que les expressions doivent être recalculées sur un grand nombre d'enregistrements.

Sadas Engine est une marque déposée de Sadas Srl, QlikView est une marque déposée de QlikTech International AB.

Caractéristiques techniques de la machine de test

Processeur

MémoireRAM

Systémed'exploitation

ODBC

Architecture de l'application de test de BI : l'application est connectée à Sadas Engine par l'ODBC propriétaire de SADAS, et la BDD est interrogée par des requêtes SQL.

InstanceDBB

Taille de la BDD sur

disque [GB]

Nombre d’entrées (millions)

Temps de réponse moyens

Chargement données Régénération graphique / table

>30 s, avec interruptions fréquentes et étendues du programme (jusqu’à 10-15

minutes)

Réponse widget de recherche

MILANO Siège socialVia Boschetti, 1 • 20121, MilanoTel: +39 02 29017449

ROMA Direction commerciale Via Principessa Clotilde, 7 • 00196, RomaTel: +39 06 83089713

BATH Conseil et Formation1 Priory Close • Bath, BA2 5AL, UKTel: +44 1225637004

SAN FRANCISCO USA International Office20 California St. 7th floor • San Francisco, CA, 94111, USA Tel: +1 415 429 3969

NAPOLI Siège Administratif, Service Clients, Laboratoires R&DVia Napoli, 159 • 80013, Casalnuovo di Napoli (NA)Tel: +39 081 8427112 / fax: +39 081 8427171

Nous fournissons services et solutions technologiques pour l'analyse de données dans des secteurs diversifiés et hétérogènes, ainsi qu'une gamme de produits innovants pour la Business Intelligence. SADAS est active dans de nombreux secteurs: banque, assurance, leasing, commerce, médias et télécommunications, et administration publique.

Pour en savoir plus sur nos produits, visitez notre site web www.sadasdb.com, ou écrivez à info@sadasdb.com

PARIS Direction commercial France85, rue de Saussure • 75017 ParisTel: +33 186 267 579

L'APPROCHE TRADITIONNELLE : TOUJOURS LA MEILLEURE ?

L'APPROCHE SADAS :TOUJOURS AVANTAGEUSE

Une solution immédiate consisterait à augmenter la capacité physique de la machine (mémoire RAM). Mais cet accroissement des ressources engendre une dépense supplémentaire, et pourrait malgré tout ne pas être viable avec des bases de données encore plus grandes (par exemple 50-100 Go).

L'application QlikView est réorganisée de manière à éviter l'importation de la totalité de la base de données TPCH-10 : dans un premier temps, QlikView extrait de Sadas Engine uniquement les informations agrégées, tandis que les informations détaillées sont récupérées ultérieurement, par une nouvelle interaction entre QlikView et Sadas Engine. Ceci permet de réduire drastiquement l'utilisation de mémoire RAM et, grâce aux performances extraordinaires de Sadas Engine, de maintenir d'excellents temps d'extraction et de chargement des données. Associer QlikView à Sadas Engine d'une manière parfaitement intégrée se révèle ainsi avantageux en termes de performances et de convivialité.Ci-dessous une comparaison entre les performances réalisées sur le TPCH-10 avec l'approche "traditionnelle" (importation de la BDD entière) et avec l'approche "SADAS" (extraction d'informations agrégées uniquement, + drill-down "on demand"). Les résultats rapportés sont la moyenne de nombreuses interactions avec l'application QlikView.

Blocage du fonctionnement de la solution QlikView sur BDD TPCH-10

Instance BDD

Taille de la BDD sur

disque [GB]

Nombre d’entrées (millions)

Temps de réponse moyens “approche traditionnelle”

Chargementdonnées

Régénération graphique / table

Réponse widget de recherche

Temps de réponse moyens “approche Sadas”

Chargementdonnées

Régénération graphique / table

Réponse widget de recherche

>30 s, avec interruptions fréquentes

(jusqu’à 10-15 minutes)

Temps de drill-down

Réponse widgetde recherche

Régénérationgraphique / table

Autres temps d’exploitation

ApprocheSadas

Approchetraditionnelle

Temps dechargement

Graphique en échellelogarithmique

Sadas Engine + QlikView : étude de cas

Sadas Engine est compatible avec QlikSense aussi!