BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF
HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH
Das Ende von OWB – was nun?
Migrationspfade für OWB-Projekte Dani Schnider
Stanislav Lando
Agenda
Das Ende von OWB – was nun? 2 11.11.2015
1. Einleitung
2. ODI der offizieller Nachfolger von OWB
3. Migration nach PL/SQL
4. biGenius – DWH Generator
5. Kommerzielle ETL Tools (Informatica)
6. OpenSource ETL Tools (Talend)
7. Entscheidungskriterien
Das Ende von OWB – was nun? 3 11.11.2015
1. Einleitung
Unser Unternehmen.
© Trivadis – Das Unternehmen 4 11.11.2015
Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution
Engineering und der Erbringung von IT-Services mit Fokussierung auf -
und -Technologien in der Schweiz, Deutschland, Österreich und
Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern:
Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme.
B E T R I E B
KOPENHAGEN
MÜNCHEN
LAUSANNE
BERN
ZÜRICH
BRUGG
GENF
HAMBURG
DÜSSELDORF
FRANKFURT
STUTTGART
FREIBURG
BASEL
WIEN
Mit über 600 IT- und Fachexperten bei Ihnen vor Ort.
© Trivadis – Das Unternehmen 5 11.11.2015
14 Trivadis Niederlassungen mit
über 600 Mitarbeitenden.
Über 200 Service Level Agreements.
Mehr als 4'000 Trainingsteilnehmer.
Forschungs- und Entwicklungsbudget:
CHF 5.0 Mio.
Finanziell unabhängig und
nachhaltig profitabel.
Erfahrung aus mehr als 1'900 Projekten
pro Jahr bei über 800 Kunden.
Wer wir sind
© Trivadis – Das Unternehmen 6 11.11.2015
Dani Schnider
Principal Consultant, Trainer und DWH
Lead Architect bei Trivadis Zürich
Stanislav Lando
Senior Consultant und DWH Location
Architect bei Trivadis Düsseldorf
Oracle Statement of Direction
Die Basisfunktionalität („OWB Basic ETL“) bleibt vorerst bestehen 12c Release1
erweiterte Funktionalitäten von OWB werden nicht mehr weiterentwickelt
Der OWB wird seit Oracle 11g Release 2 nicht mehr weiterentwickelt
Oracle Data Integrator ist offizieller Nachfolger vom OWB.
Der ODI ist kostenpflichtig und nicht mehr in der Datenbank-Lizenz enthalten.
Für die Migration von OWB nach ODI steht mit ODI 12c ein Migrationswerkzeug zur
Verfügung
OWB Support läuft aus
Das Ende von OWB – was nun? 7 11.11.2015
Welche Migrationsszenarien sind möglich?
Das Ende von OWB – was nun? 8 11.11.2015
Handlungsbedarf Oracle 12C
Nicht CDB-Architektur ist
DEPRECATED seit 12.1.0.2
„ Oracle Warehouse Builder on a
pluggable database operates the
same as a multi-instance or an
OWB_HOME configuration. ODI-
EE license is required to use this
functionality.”
Zeit zu handeln
Das Ende von OWB – was nun? 9 11.11.2015
2. ODI
Oracle Data Integrator (ODI)
Das Ende von OWB – was nun? 10 11.11.2015
• 2006 Übernahme durch Oracle
• Oracle Datenstrukturen/Modelle
• ETL Strecken mit DB-Mitteln
• Einbindung von PL/SQL
• Neu im Vergleich zu OWB
• Einbindung von heterogenen Umgebungen: DB, SOA, WebServices
• AGENT – Konzept mit zeitgesteuerter Jobverarbeitung
• Knowledge Module Konzept
• Version12c Übernahme der OWB Bedienkonzepte
• OWB Migration Utility
Textbasierte Verarbeitung mit Config-Dateien
Voraussetzung OWB ab v.11.2.0.4 + patch und ODI ab v.12.1.3
ODI Migration Utility
Das Ende von OWB – was nun? 11 11.11.2015
migrierbar nach ODI sind
• Module: Quelle und Ziel
• Locations
• Datenobjekte: Tabellen, Views, MViews
Dateien, Sequenzen, externe Tabellen
• Mappings: klassisch set-based, code
templates, pluggable
• Operatoren: fast alle
nicht migrierbar nach ODI sind
• Datenobjekte: Partitionen, Attribute Sets, Data Rules,
Locations für externe Tabellen
• Dimensionale, Discoverer und OBIEE Metadaten
• Eigene PL/SQL Prozeduren und Packages
• Queues, Streams, CDC Konfigurationen,
Benutzerdefinierte Datentypen
• Process Flows
• Data Quality, Data Profilies
• Mappings: row-based, mit o.g. Elementen
• OMB*Plus Skripte
OWB2ODI MIGRATION CHECK
ODI Migration Utility
Das Ende von OWB – was nun? 12 11.11.2015
migration.config
ODI_MASTER_USER=SUPERVISOR
ODI_MASTER_URL=jdbc:oracle:thin:@localhost:1521:orcl
..
OWB_WORKSPACE_OWNER=OWB_OWNER
OWB_URL=localhost:1521:orcl
..
MIGRATION_MODE=DRY #CHECK|DRY|RUN
..
>./migration.sh ODISUPASS ODIUSRPASS OWBOWPASS migration.config
OdiStartOwbJob –WORKSPACE=<.> -LOCATION=<.> -OBJECT_NAME=<.> ..
Das Ende von OWB – was nun? 13 11.11.2015
3. PL/SQL
PL/SQL Migrationsoption 1
Das Ende von OWB – was nun? 14 11.11.2015
IST OWB IM HINTERGRUND NICHT PL/SQL?
WB_RT_API_EXEC.RUN_TASK ( location IN VARCHAR2,
task_type IN VARCHAR2,
task_name IN VARCHAR2,
custom_params IN VARCHAR2 DEFAULT NULL,
system_params IN VARCHAR2 DEFAULT NULL,
oem_friendly IN NUMBER DEFAULT 0,
background IN NUMBER DEFAULT 0 )
RETURN NUMBER;
PL/SQL Migrationsoption 2
Das Ende von OWB – was nun? 15 11.11.2015
Sollte RUN_TASK unter der nächster DB Version nicht laufen?
WB_RT_API_EXEC.RUN_TASK (...);
OWB Repository Schema OWBSYS durch eigene Implementierung ersetzten
Anpassung des Repository mit weiteren DB Versionen möglich
Aufwändige Wartung und Weiterentwicklung des OWB PL/SQL Code
3000 – 4000 Zeilen Code pro Mapping
OWB – PL/SQL Code ohne grafische Oberfläche
PL/SQL Migrationsoption 3
Das Ende von OWB – was nun? 16 11.11.2015
PL/SQL-Extraktion über Intermediate Results
Einfache Extraktion der Logik durch Intermediate Results (set-based)
Fehlerbehandlung wird unterstützt (LOG ERRORS INTO)
Row-based Extraktion mit
größerem Aufwand möglich
Protokollierung, Ablaufsteuerung
erweiterte Fehlerbehandlung
müssen neu umgesetzt werden
PL/SQL Migrationsoption 4
Das Ende von OWB – was nun? 17 11.11.2015
PL/SQL-Extraktion mit PL/SQL Analyser
https://www.salvis.com/blog/downloads/tvdca-trivadis-plsql-sql-codeanalyzer/
Extraktion der Logik durch PL/SQL-Parser
Automatisierung für viele Mappings (>1000) möglich
Command Line Utility mit XML Parse-Tree Ausgabe
Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung muss neu umgesetzt
werden
Das Ende von OWB – was nun? 18 11.11.2015
4. biGenius
biGenius Funktionsübersicht
Das Ende von OWB – was nun? 19 11.11.2015
Business
Department BRE Business
Requirements
Engineering
BI Architect MGD Modelling
Generation
Deployment
DWH Admin
LCM Load Control Monitoring
DQT Data Quality Testing
Data Steward
Business
Blueprints
Technical
Documentation
Staging Area
Cleansing Area
DWH Core
Data Mart
Source Source Source
Generated Objects:
- Tables
- Views
- ETL Processes
Standardisierte DWH-Architektur
Das Ende von OWB – was nun? 20 11.11.2015
Beispiel:
10 Dimensionen
5 Faktentabellen
20 Entities
25 Quelltabellen
Generierte DWH-Objekte:
100 Tabellen
175 Views
100 ETL-Packages
Staging
Cleansing
DWH-Core
Data Mart
Source Source Source
Migration eines standardisierten OWB-Projekts
Das Ende von OWB – was nun? 21 11.11.2015
Import der Quell- und Zielstrukturen in biGenius Metadatenbank
Zuordnung Quell- und Zielattribute
– Implizite Zuordnung, falls Strukturen ähnlich aufgebaut sind
– Manuelle Zuordnung von Spezialfällen
Nachbearbeitung in biGenius Applikation
– Metadaten für Historisierung und Dimensionshierarchien
– Bei Bedarf Anpassungen von Templates
– Für Spezialfälle separate Templates aus „Intermediate Results“
Generierung von Tabellen, Views und Packages mittels PL/SQL Generator
ETL-Logik in Templates
Das Ende von OWB – was nun? 22 11.11.2015
Das Ende von OWB – was nun? 23 11.11.2015
5. Kommerzielle ETL Tools
Warum ein anderes ETL Tool als ODI?
Das Ende von OWB – was nun? 24 11.11.2015
Mögliche Gründe
Strategisches Tool im Unternehmen
Bestehendes Knowhow vorhanden
Heterogene DWH-Systeme
Marktanteil des Herstellers
Verbreitete kommerzielle ETL Tools
Informatica PowerCenter
IBM InfoSphere DataStage
SAP Business Objects Data Services
Beispiel: Informatica PowerCenter
Das Ende von OWB – was nun? 25 11.11.2015
Nach Gartner das achte Jahr in Folge als Data Integration Marktführer (Stand 2014)
Mit SOA (Service Oriented Architecture) ist es möglich Services zu skalieren
Ausführung der Transformationen im separaten ETL-Server
ETL-Steuerung durch Integration Services (ETL in Blackbox)
Datenzugriff durch ODBC, JDBC + native DB Treiber
Systemüberwachung der Nodes (Domains) durch Service Management Prozess
Lizenzierung pro Kern des Domain-Servers
Migration nach Informatica PowerCenter
Das Ende von OWB – was nun? 26 11.11.2015
Die Migration ist mit manuellem Aufwand verbunden
Import der Quell- und Zielstrukturen in PowerCenter Repository
Manuelle Neuentwicklung der Mappings
– Ähnliche Transformationen
wie OWB-Operatoren
– Stored Procedures können
in Mappings eingebaut werden
Nachbau der Ladeläufe mit Workflow Manager
Migration nach Informatica PowerCenter (Alternative)
Das Ende von OWB – was nun? 27 11.11.2015
Extraktion von SQL Statements in OWB
– Via Intermediate Results
– Nur für set-based Mappings
SQL Statements in PowerCenter Mapping
verwenden
– SQL Override
– SQL Transformation
Achtung
– Schlechte Wartbarkeit der Mappings
– Nur als Übergangslösung zu empfehlen!
Das Ende von OWB – was nun? 28 11.11.2015
6. OpenSource ETL Tools
Warum OpenSource?
Das Ende von OWB – was nun? 29 11.11.2015
Hauptgrund für OpenSource-Produkte
Geringere Lizenzkosten
Achtung: OpenSource ≠ Gratis
OpenSource ETL Tools
Talend Open Studio
Pentaho Kettle
Beispiel: Talend Open Studio
Das Ende von OWB – was nun? 30 11.11.2015
Open Source ETL Studio für wenig Geld
Java Architektur
Über 500 Components
– Vergleichbar mit Operatoren für OWB
Row-based Verarbeitung
– Mengenbasierte Ausführung umständlich möglich
Lizenzkosten pro Entwickler
Talend Job Designer für die Ablaufsteuerung
Migration nach Talend
Das Ende von OWB – was nun? 31 11.11.2015
Import der Quell und Zielstrukturen in die Metadatenbank
Automatische Migration nicht möglich
– Arbeitsweise unterscheidet sich von OWB
Mögliche Lösung
– Extraktion von SQL aus OWB (Intermediate Results)
– SQL in Talend Component „rOracleRow“ kopieren
– Gleiche Problematik wie SQL Override in Informatica
Mit dem Job Designer ist der Nachbau der Ladeläufe erforderlich
Das Ende von OWB – was nun? 32 11.11.2015
7. Entscheidungskriterien
Funktionsumfang
Das Ende von OWB – was nun? 33 11.11.2015
Arbeitsweise
Bedienbarkeit
Plattformunabhängigkeit
Arbeitsweise Bedienbarkeit Plattformunabhängigkeit
ODI Grafisches ELT-Tool, Ausführung
in Zieldatenbank
Grafische Darstellung der
Datenflüsse Knowledge Module für zahlreiche
Quell- und Zielplattformen
PL/SQL Prozedureale Programmierung in
Datenbank
Programmierung in Datenbank-
Editor, z.B. SQL Developer Oracle-spezifisch
biGenius Metadatenbasierter PL/SQL-
Generator, Ausführung in Zielda-
tenbank
GUI zur Erfassung und Pflege
der Metadaten
Generatoren für Oracle und SQL
Server
Kommerziell Grafisches ETL-Tool, Ausführung
durch ETL-Server
Grafische Darstellung der
Datenflüsse
Unterstützung zahlreicher Quell-
und Zielplattformen
OpenSource Grafisches ETL-Tool, Ausführung
durch ETL-Server
Grafische Darstellung der
Datenflüsse
Unterstützung zahlreicher Quell-
und Zielplattformen
Migration von OWB Projekten
Das Ende von OWB – was nun? 34 11.11.2015
Migrationsaufwand Zeitaufwand Manuelle
Nachbearbeitung
Zusätzlicher
Betriebsaufwand
ODI Automatisierte Migration
durch OWB Migration
Utility
gering Nachbau von Workflows und
speziellen Operatoren
zusätzlich Server pro
Agent
PL/SQL Generierter OWB-Code
kann übernommen werden
mittel, für große
Projekte
automatisierbar
Implementierung von
Fehlerbehandlung, Logging,
etc.
keiner
biGenius
Importieren von Quell- und
Zielstrukturen, Generierung
der ETL-Prozesse
für standardisierte
Projekte gering,
für Spezialfälle
groß
Für Speziallogik müssen
Templates erstellt oder
angepasst werden
keiner
Kommerziell Manuelle Übernahme von
SQL-Statements in ETL-Tool
hoher manueller
Aufwand
Überführung von SQL-
Statements in Logik des ETL-
Tool
ETL-Server
OpenSource Manuelle Übernahme von
SQL-Statements in ETL-Tool
hoher manueller
Aufwand
Überführung von SQL-
Statements in Logik des ETL-
Tool
ETL-Server
Zusätzliche Kosten
Das Ende von OWB – was nun? 35 11.11.2015
Schulungsaufwand Lizenzkosten
ODI notwendig, aber für OWB-Entwickler ge-
ring pro CPU der Zieldatenbank
PL/SQL PL/SQL-Knowhow bei OWB-Entwickler
meistens vorhanden in Datenbanklizenz enthalten
biGenius notwendig abhängig von Projektgröße
Kommerziell notwendig pro CPU im Domain-server (Informatica)
OpenSource notwendig pro Arbeitsplatz (Talend)
Wartung und Weiterentwicklung
Das Ende von OWB – was nun? 36 11.11.2015
Wartbarkeit Performance & Tuning
ODI Sehr gut Mengenbasierte Ausführung in der
Zieldatenbank
PL/SQL Schlecht wartbar Mengenbasierte Ausführung in der
Zieldatenbank
biGenius Sehr gut Mengenbasierte Ausführung in der
Zieldatenbank
Kommerziell Sehr gut datensatzbasierte Ausführung über ETL-
Server
OpenSource Sehr gut datensatzbasierte Ausführung über ETL-
Server
Das Ende von OWB – was nun? 37 11.11.2015
Trivadis White Paper:
Das Ende von OWB – was nun? Migrationspfade für OWB-Projekte.
http://www.trivadis.com/sites/default/files/downloads/migrationspfade-fuer-owb-projekte.pdf
Vielen Dank Dani Schnider
Stanislav Lando
11.11.2015 Das Ende von OWB – was nun? 38