business intelligence & testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015...
TRANSCRIPT
Business Intelligence & Testing
Ferran Rohaan, Brian Engel, Armando Dörsek
8 september 2015
Agenda
• Introductie
• Doelstellingen Werkgroep
• Beschrijving DWH & Business Intelligence
• Typische DWH & BI architectuur
• Wat testen we waar?
• Audit Trail
• Risico’s, Testsoorten en Testspecificatietechnieken
• Testtools & Testautomatisering
• Testrollen, profielen
• Vervolgstappen Werkgroep
2 Testen van BI en DWH 11 september 2015
Werkgroep
• Wie
• User Stories
• Producten, Ambities
3 Testen van BI en DWH 11 september 2015
#001 SKILLS
Als Tester
Wil ik weten welke technische vaardigheden
ik moet beheersen
Zodat ik op een BI/DWH project wordt
aangenomen
Arnout Groen, Iris Groenewoudt
Martijn de Ruijter, Armando Dörsek.
Carmen van der Veen, Petra
Osephius, Roy Jacobs, Geri
Kruitwagen, Brian Engel, Ferran
Rohaan, Armando Dörsek
User Stories
11 september 20154Testen van BI en DWH
Business Intelligence
• Wat is …
6 Testen van BI en DWH 11 september 2015
Audit
Datamart Analyse & Rapporten
Staging DWHBron
Een standaard DWH/BI landschap
11 september 2015
Microsoft
Oracle
AuditAudit
Rapport
Flat File
Rapporten
Analyse
Testen van BI en DWH7
Stermodel vs 4NF
Testen van BI en DWH 11 september 20158
Managementperceptie Testen van BI
9 Testen van BI en DWH 11 september 2015
Wat testen we waar?
Audit
Datamart Analyse & Rapporten
Staging DWHBron
12 Testen van BI en DWH 11 september 2015
Microsoft
Oracle
AuditAudit
Rapport
Flat File
Rapporten
Analyse
Bepalen teststrategie
• Variatie bronnen
• Eigenaarschap
• Testbasis
• Begroten
• Bemensing
15 Testen van BI en DWH 11 september 2015
Bepalen teststrategie (2)
• Privacy
• Opvoeren testgevallen
• Opbouwen historie
• Omvang
• Performance
16 Testen van BI en DWH 11 september 2015
Audit Trail
Audit
Datamart Analyse & Rapporten
Staging DWHBron
11 september 2015
Microsoft
Oracle
AuditAudit
Rapport
Flat File
Rapporten
Analyse
Testen van BI en DWH18
Audit Trail
• Controlelijsten (data kwaliteit)
• Voor “intern” gebruik (bv. ontwikkelaars, testers)
• Voor “extern” gebruik (bv. auditors, controllers)
• Herleidbaarheid van gepresenteerde data
• Performance Monitoring van het DWH
19 Testen van BI en DWH 11 september 2015
Pauze
Na de Pauze…
Testspecificatietechnieken
Testspecificatietechnieken
• Belang van testontwerptechnieken
• Onderbouwde invulling van de teststrategie: afgesproken
dekking op de afgesproken plaats
• Reproduceerbaar
• Gestandaardiseerd: testproces is onafhankelijk van persoon die
de testgevallen specificeert en uitvoert, is overdraagbaar en
onderhoudbaar
• Beter meetbaar, beter planbaar en beheersbaar
• Keuze voor “specifieke” testspecificatietechnieken bij Business
Intelligence Toepassingen en DWH?
23 Testen van BI en DWH 11 september 2015
Testspecificatietechnieken
• Kijkend naar het BI/DWH landschap:
• Interfaces, Gegevensstromen
• Beslissingen
• Betekenis
Syntactische testen, Semantische
Testen, Beslissingstabellen, Proces
Cyclus Testen, Data Combination
Testen, State Diagram, Exploratory
Testing
24 Testen van BI en DWH 11 september 2015
Testspecificatietechnieken
• Risico-inschatting (PRA) …
• Testbasis …
• Sjablonen …
• Testsituaties …
• Testdata …
• Fysiek maken…
25 Testen van BI en DWH 11 september 2015
Testautomatisering bij BI & DWH
28 Testen van BI en DWH 11 september 2015
Waar?
Testautomatisering?Welke Testtooling?DEVOPS?
Wat?
Wanneer?
Hoe?
Agile?Wie?
Waarmee?
WAAROM?
Waarom Testautomatisering?
• Kosten verlagen• Time to market te verkorten• Kwaliteit te verhogen
29 Testen van BI en DWH 11 september 2015
Testautomatiseringsaspecten
30 Testen van BI en DWH 11 september 2015
Testautomatisering Kostenaspect
31 Testen van BI en DWH 11 september 2015
Licentiekosten Aanschafkosten Manuren onderhoud Manuren training Manuren toolspecialist Manuren installatie Manuren configuratie
Testautomatisering Tijdsaspect
32 Testen van BI en DWH 11 september 2015
Doorlooptijden verkortenvan het testproces
Manuren onderhoudverlagen
Time to market verkorten Veel repeterende
handelingenvergemakkelijken
Testautomatisering Kwaliteitsaspect
33 Testen van BI en DWH 11 september 2015
Gestructureerde testaanpak Regressietesten DEVOPS & Agile testen Beheersbaarheid Onderhoudbaarheid
Continuous Quality Assurance
34 Testen van BI en DWH 11 september 2015
35 Testen van BI en DWH 11 september 2015
Agile
Jenkins
SAP TAOHP QC
Welke BI testtooling ?Worksoft
DEVOPS
TOSCA
Application Life cycle management
ASAPRRBT
TRICENTIS
HP QTP
Continuous Delivery
TMAP NEXTOpen source
Jira
Mobile
SIKULI
Multi Platform Testing
Selenium
Cucumber
maatwerk
Confluence
36 Testen van BI en DWH 11 september 2015
Testautomatiseringsaspecten
37 Testen van BI en DWH 11 september 2015
Must have 5
Belangrijk 4
Medium impact 3
Nice to have 2
Niet belangrijk 1
Niet relevant 0
5
4
1
5
1
2
5
45
5
4 5
2 4
2
3
24
4
5
2
4
2
5
Scorecard Testautomatisering
BI Testtooling?
• Vastleggen bevindingen• Vastleggen testgevallen• Maken van subsets en geanonimiseerde
datasets• Data kwaliteit bepalen• Data doorzetten• Testautomatisering van ETL Testen (backend)
en Informatieproducten (frontend)• Voortbrengingsproces bewaken (inchecken
code, review opmerkingen enz.)• Audit Trail
38 Testen van BI en DWH 11 september 2015
Audit
Datamart Analyse & Rapporten
Staging DWHBron
39 Testen van BI en DWH 11 september 2015
Microsoft
Oracle
AuditAudit
Rapport
Flat File
Rapporten
Analyse
BI Testtooling
Worksoft
TOSCA
HP ALM
Jenkins JiraConfluence
Sikuli
Selenium
Cucumber
Motio CIWinscp
Soap UI
XMLspy
Oracle
Toad
DBfit
SQL Developer
Profielen van DWH/BI-testers
Audit
Datamart Analyse & Rapporten
Staging DWHBron
11 september 2015
Microsoft
Oracle
AuditAudit
Rapport
Flat File
Rapporten
Analyse
Testen van BI en DWH41
Profielen van BI/DWH Testers
Testmanager
Testcoordinator
Test Analist ETL
Test Analist Reporting & AnalyticsTest Data Expert
Test Automation Expert
Omgevingsbeheerder
Profielen van BI/DWH-testers
Testrollen, een aantal voorbeelden:
• Test Manager
• Test Coördinator
• Test Analist ETL
• Test Analist Reporting & Analytics
• Test Automation Consultant
• Test Data Expert
• Testomgeving Beheerder
Invloeden: SCRUM/Agile, omvang van teams en
projecten, verdeling van werkzaamheden over bouwe
en test, projectteams en beheerorganisatie, etc.
42 Testen van BI en DWH 11 september 2015
Wrap up / Conclusie
43 Testen van BI en DWH 11 september 2015
• Kennis en Kunde groeit
• Testers kunnen al veel:
punten op de i
• Samenwerking
• Middelen: sjablonen en
tools (testautomatisering,
subsetting, anonimisering,
audit trail, bewaken BI
voortbrengingsproces)
• Data kwaliteit en Testen
• BI/DWH wordt “gewoon”:
groeiende behoefte.
Dank voor uw aandachtTot ziens!
Meer informatie
11 september 201545Testen van BI en DWH
Testnet Werkgroep Testen van Business Intelligence & DWH
https://goo.gl/R3YZgD
Ferran Rohaan +31(6)31765803 [email protected]
Brian Engel +31(6)30141327 [email protected]
Armando Dörsek +31(6)23054054 [email protected]