big data discovery + analytics = datengetriebene innovation!
TRANSCRIPT
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Big Data Discovery + Analytics = Datengetriebene Innovation!
DOAG Konferenz Nürnberg, 17.-19. November 2015 Harald Erb ORACLE Business Analytics, EMEA
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
• Harald Erb • Principal Sales Consultant
• Business Analytics Architecture Domain Lead - DE/CH Cluster
• Kontakt
+49 (0)6103 397-403
Referent
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.
Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.
3
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 4
Digital Business – in Echtzeit und überall möglich
Lufthansa setzt z.B. im Flughafen Frankfurt iBeacons ein, iPhone-Nutzer erhalten nun ortsspezifische Hinweise (nächste Lounge, Kundencenter, voraussichtliche Wartezeit bei Sicherheitskontrollen)
Die Postkarte kann von überall nach überall verschickt und je nach Handelspartner per Kreditkarte, Lastschrift oder PayPal bezahlt werden. Produziert und verschickt wird die Postkarte von Deutschland aus. Digital Disruption vom Strand / Pool?
Verkauf von Datenprodukten Vorsprung durch mehr Service Bessere Kundenbindung
Das Smartphone als neue Loyality-Karte: Mobil bezahlen, Guthaben verwalten, Frei-getränke als Bonus einlösen. Service: Store-Finder, Öffnungszeiten, etc. Personalisierung: Verknüpfen mit Facebook-/Twitter-Accounts, Kaufempfehlungen sollen folgen
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 5
Ein Beispiel: „Hijack Campaign“ – In den Läden der Wettbewerber Geschäfte anbahnen
Digital Disruption
Video: „HIJACK - MEAT PACK GUATEMALA“Cannes Lions Winner of Bronze & Silver (Mobile Category)
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 6
Ein Beispiel: „Hijack Campaign“ – In den Läden der Wettbewerber Geschäfte anbahnen
Digital Disruption
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 7
They ‘Reframe’ Challenges
Looking at them from new perspectives and multiple angles
They Sprint
They work at pace - researching, testing and evaluating current ideas while generating new ones
They Appreciate That
Failure Can Be Good
and are not afraid of new ideas
They Convert Data Into Value
They invest heavily in analyzing their own data and data from external sources to establish patterns and un-noticed opportunities
Digital Business Leaders – auffällige Merkmale
Konzept: Data Lab
Die benötigten analytischen, technischen und fachlichen Skills sind nur schwer in einer Person zu vereinen. Als Alternative bietet sich ein Teamansatz an, der vor-handene fachliche und technische Expertise nutzt und neue Skills (Big Data Architektur, Data Science) entwickelt
Beginnt mit dem Auftrag zu einer analytischen Aufgabe (neues Modell/Datenprodukt, Location-based Services, etc.). Datenbeschaffung, -untersuchung, Modellbildung, Prototyping, Validierung, Verwertung der Ergebnisse sind weitere Phasen in einem Data Analytics Zyklus
Datenprojekt: Team & Rollen
Prozess
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 9
Data Analytics Lifecycle
Data Understanding
Data Preparation
Model Planning
Model Evaluation
Communicate Results
Operationalize & Monitor
Ist die Aufgabenstellung präzise genug und liegen alle
Informationen für den Entwurf eines analytischen Plans vor?
Liegen die notwendigen Daten in ausreichender Qualität vor, damit mit
dem Modellentwurf begonnen werden kann?
Gibt es eine Vorstellung bzw. Idee welche Art von Modell
ausprobiert/ verwendet werden kann? Läßt sich der analyt. Plan konkretisieren?
Ist das gefundene Modell robust genug und sind die
Ergebnisse überprüft? War das Datenexperiment ein Fehlschlag oder erfolgreich?
Business Goals
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 10
Bereits bekannt aus dem täglichen Projektgeschäft
Datenprojekt: Rollenverteilung / Team
» Projektsponsor: Oft verantwortlich für die Entstehung des Projektes, gibt den Impuls und definiert die zu lösende Aufgabenstellung bzw. das zu bearbeitende Geschäftsproblem. Projektfinanzierung, Zielvorgaben, Priorisierung und Meßgrößen für die Ergebnisbewertung werden hier ebenfalls festgelegt.
» Projektmanager: Stellt sicher, dass wichtige Meilensteine und Ziele während des Projektverlaufs zeitgerecht und in der erwarteten Qualität erreicht werden. Verhandelt und organisiert möglichst vor Projektbeginn die Bereitstellung zusätzlicher Ressourcen.
» Business Intelligence Analyst: Unterstützt das Projekt einerseits mit Fachwissen zu den Geschäftsbereichen und tiefgehendes Verständnis zu Key Performance Indikatoren (KPI), den Inhalten der vorhandenen BI-Lösung und mit den zugrundeliegenden Datenquellen. Sofern in der Unternehmensorganisation etabliert, kann diese Rolle von einem Mitglied des BI Competence Centers (BICC) wahrgenommen werden – mit dem Vorteil, dass das BICC von Anfang an involviert ist und zu Projektende aktiv bei der Operationalisierung der Analyseergebnisse mitwirken kann.
» Datenbank Administrator: Für die im Datenprojekt benötigte Analytics Sandbox provisioniert und konfiguriert der DBA gemäß Anforderung die für die Datenexperimente benötigte Datenbank. Zu den Verantwortlichkeiten gehören hier auch das Einräumen von Zugriffsrechten für wichtige Quellsysteme, Tabellen, Repositories unter Einhaltung vorgegebener Sicherheitsstufen.
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 11
Die neue Rollen bzw. Schlüsselrollen
Datenprojekt: Rollenverteilung / Team
» Fachexperte/Domainspezialist: Personen, die das Fachgebiet verstehen und üblicherweise auch von den Ergebnissen eines solchen Projektes profitieren. Sie beraten das Team hinsichtlich des Projektkontextes, welchen Mehrwert die angestrebten Ergebnisse liefern sollen und wie diese später im Erfolgsfall operationalisiert werden können. Häufig nehmen Fachverantwortliche, Business Analysten oder Line Manager solche Rollen ein.
» Data Engineer: Verantwortet Planung und Design der Analytics Sandbox und von Big Data- Architekturen, setzt hoch-performante Hadoop-Anwendungen auf Java-Basis um. Ferner gehört die Datenextraktion aus bestehenden Systemen sowie die Datenaufnahme und –aufbereitung in der Analytics Sandbox zu den Aufgabenschwerpunkten. Als Lead-Developer entwickelt und berät diese Funktion auch das Projektmanagement in technischen Fragen.
» Data Scientist: Bringt zur Lösung des gestellten Geschäftsproblems bzw. Aufgabenstellung für das Datenexperiment das Fachwissen zur Auswahl der passenden analytischen Techniken mit, leitet die Datenmodellierung sowie die Ausführung und Ergebnisüberprüfung der analytischen Methoden an.
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 12
Oracle Information Management Referenzarchitektur – Konzeptansicht
Arbeitsumgebung für Datenprojekte schaffen
Konzept: Data Lab
Werkzeuge unc Mittel zur interaktiven Datenanalyse von
beliebigen Kombinationen strukturierter und
unstrukturierter Datenquellen
Enthält alle für das Daten-Projekt benötigten Kopien vorhandener Unternehmensdaten und extern
beschafften Data Sets
Anwendung geeigneter statistischer Verfahren , Optimierung der
Parameter und Auswahl eines Modells, das die Aufgabenstellung
am besten erfüllt
Data Discovery
Analytical Sandbox Data Science
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 14
Überblick
Data Lab
» Datenerkundung Data Scientist sind im Lead » Domänen-/Fachwissen ein kritischer Erfolgsfaktor » Große Daten- und Werkzeugvielfalt » Datenaufbereitung eine erhebliche Herausforderung » Data Mashup & “ETL on the fly” agile Analysen
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 15
Eigenschaften und Rahmenbedingungen
Analytical Sandbox
» Bereitstellung aller vorhandenen Daten in unverarbeiteter Form für Datenexploration, Predictive Modeling, Data Mining, usw.
» Workspace für störungsfreie Datenexperimente (unternehmenskrit. Systeme bleiben unberührt)
» Art des Datenprojekts bestimmt Aufbau und Größe der Sandbox:
Hadoop-Architektur und/oder Datenbank und/ oder viel Plattenplatz; In-Memory/Speziallösungen
5..10-fachen Platz pro original Data Set einplanen Datenkopien oder neue Data Sets entstehen durch Anreicherung von Daten durch das Verschneiden mit zusätzlichen Datenquellen.
Umgang mit semistrukturierten und unstruk-turierte Daten
» Bestreben des Data Lab-Teams nach Exploration aller verfügbaren Daten steht im natürlichen Konflikt zu aufwendigen IT-Prozessen, die Datenqualität und Datenschutz sicherstellen
» Herausforderungen:
Angemessener Umgang mit sensiblen personenbezogenen Daten, z.B. durch Anonymisierung/Pseudonymisierung
Sicherstellung der zweckgebundene Verwendung
Ausreichender Zugriffsschutz und Auditing
» Enterprise IT, Data Owner/Data Stewards müssen bei Datenbeschaffung, -bereitstellung und qualitätssicherung kooperieren, um moderne Analyseansätze zu ermöglichen
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 16
Datenversorgung
Analytical Sandbox Analysis Processing & Delivery
Data Lab & Development Environment
Data
Science
(Primary
Toolset)
Statistics Tools
Data & Text Mining Tools
Faceted Query Tools
Programming & Scripting
Data Modelling Tools
Query & Search Tools
Pre-Built
Intelligence
Assets
Intelligence
Analysis
Tools
Ad Hoc Query & Analysis Tools
OLAP Tools
Forecasting & Simulation Tools
Reporting Tools
Vir
tua
lisa
tio
n &
Info
rma
tio
n S
erv
ice
s
Versorgung von Datenprojekten
Data Quality & Profiling
Graphical rendering tools
Dashboards & Reports
Scorecards
Charts & Graphs
Sandbox – Project 3
Sandbox – Project 2
Sandbox – Project 1
Data store Analytical Processing
Versorgung der BI Plattform
1
2
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 17
Hadoop-Technologie kann dabei helfen Big Data Herausforderungen zu meistern
Analytical Sandbox vs. Hadoop
“The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. Hadoop is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-available service on top of a cluster of computers, each of which may be prone to failures.“
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
» Vergleichsweise niedrige Kosten bei guter horizontaler Skalierbarkeit der Infrastruktur
» Speicherung von mehr Daten, mehr Details und über längere Zeiträume möglich
» Kostengünstige Möglichkeit, um große Datenmengen zu analysieren
» Das "Schema-on-Read" Prinzip erlaubt die Anwendung innovativer Analysestrategien bei der Nutzung der neuen Datenvielfalt
» Komplementär zu bestehenden Data Warehouse-Technologien
18
Vorteile von Hadoop im Analysekontext
Analytical Sandbox vs. Hadoop
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Analytical Sandbox - Technologieauswahl Beispiel mit möglichen Anforderungen & Entscheidungskriterien
0
1
2
3
4
5 Tooling maturity
Stringent Non-Functionals
ACID transactional requirement
Security
Variety of data formats
Data sparsity
ETL simplicity
Cost effectively store low value data
Ingestion rate
Straight Through Processing (STP)
Hadoop
Relational
My Application
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 20
Aktivitäten im Rahmen des Analyseprozesses
Data Discovery
Quelle: O’Reilly Article : ”Data Analysis: Just one component of the Data Science workflow”
Data Discovery Modeling Analytical
Apps
Ingest & Clean
Manage & Update
Aquire
Store & Expose
Visual Analysis
Wrangle
Featurize
Interactive Queries
Train
Update
Model
Evaluate
Deploy
Monitor
Build
Train
Data Insights Models
Enrichments Features Vectors
Zeitaufwändig (50...80% von der Gesamtzeit)
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 21
Mit Hadoop-Bordmitteln: HDFS und Hive Command Line Tools
Data Discovery
Unix / Linux – ähnliche Befehle für Dateioperationen im Hadoop Distributed File System (HDFS) SQL-Abfragen mit der Hive Command Line (Hive CLI)
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 22
Mit Cloudera-Bordmitteln: Impala MPP*) SQL Engine und HUE **)
Data Discovery
**) Grafische Benutzeroberfläche HUE (Hadoop User Experience) von Cloudera: SQL Abfrage einer Hive-Tabelle mit Ergebnisdarstellung als Diagramm
*) Impala erlaubt interaktive Ad-hoc-Abfragen mit SQL-Syntax. Anstelle von MapReduce wird eine massive Parallelverarbeitungs- (Massive Parallel Processing – MPP) Engine verwendet, die derjenigen in herkömmlichen relationalen (RDBMS) ähnelt. Bei dieser Architektur können die Daten in HDFS- oder HBase-Tabellen schneller als mit Hive abgefragt werden
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 24
Oracle Big Data Discovery: “The Visual Face of Hadoop”
Find Explore Transform Discover Share
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data Discovery
25
Unterstützt den Team-Ansatz – anstatt von Data Scientists allein abhängig zu sein
DWH / OLTP
Databases
Database Administrator
(Enterprise IT)
Hadoop
ETL/ELT Specialist
(Enterprise IT , member of
Data Factory)
Data Engineer
Data Science
Discovery Output
Business Analyst
New KPI, Report Requirement
Data Scientist
New Data Set (cleaned / enriched)
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 26
Per Datei-Upload und Direktzugriff auf Datenbanken aus der Analytical Sandbox
Oracle Big Data Discovery mit Daten versorgen
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 27
Automatisiertes/manuelles Laden mit dem BDD Command Line Tool (EDP_CLI)
Oracle Big Data Discovery mit Daten versorgen
19
20
; ; ;
Dateien liegen im Hadoop Distributed File System, passend dazu wird eine Hive Tabelle angelegt und mit Daten geladen (z.B. via HUE)
Beispiel für einen manuellen Aufruf des Ladeprozesses mit dem Oracle Big Data Discovery Command Line Tool
Ergebnis: Nach erfolgreichem Ladeprozess mit dem Oracle Big Data Discovery Command Line Tool ist das neue Data Set in der BDD Studio Anwendung verwendbar
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 28
Data Sets aus der Analytical Sandbox – gut organisiert und leicht auffindbar
Oracle Big Data Discovery
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 29
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Find Explore Transform Discover Share
Oracle Big Data Discovery by Example Teil 1
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 31
Find
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 32
Explore
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 33
Explore
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 34
Explore
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 35
Explore
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 36
Transform
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 37
Transform
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 38
Transform
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 39
Transform
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 40
Transform
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 41
Transform
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 42
Transform
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 43
Wie Daten(-Samples) aus Hadoop verarbeitet werden
Oracle Big Data Discovery – Blick hinter die Kulissen
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 44
Oracle Big Data Discovery – Deployment (Variante #1)
Diagram adopted from RittmannMead 2015
Commodity Hadoop Cluster
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 45
Direkt installierbar auf der Oracle Big Data Appliance
Oracle Big Data Discovery – Deployment (Variante #2)
B
Node 1 Node 2 Node 3 Node 4 Node 5 Node 6 … n Balancer
CM Agent
DataNode
Failover Controller
JournalNode
NameNode
NodeManager
Puppet
Puppet Master
ZooKeeper
CM Agent
DataNode
Failover Controller
JournalNode
MySQL Backup
NameNode
NodeManager
Puppet
ZooKeeper
CM Server
CM Agent
DataNode
JobHistory
JournalNode
MySQL Primary
NodeManager
Puppet
ResourceManager
ZooKeeper
CM Agent
DataNode
Hive, Hue, Oozie, Solr
NodeManager
ODI Agent
Puppet
ResourceManager
Weblogic Server
Dgraph
HDFS Agent
CM Agent
Puppet
CM Agent
DataNode
NodeManager
Puppet
• One Dedicated Big Data Discovery Node: Runs BDD-specific processes only, no Hadoop services run on this node, provides storage for Dgraph
• Ab Big Data Appliance Softwareversion 4.3 automatisch mit Mammoth installierbar
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 46
Big Data Appliance
» Exalytics Steckbrief (Modell X5-4) – 4 Intel Xeon© E7-8895 v3 Serie, 8- 72 CPU-Kerne
– 2…3 TB RAM, 4,8TB PCI Flash
– Zwei 40 GB/s infiniband ports und Ethernet port
» Das Beste aus beiden Welten: – Exalytics beschleunigt explorative Analysen
– Hadoop skaliert bei Datentransformationen und Datenanreicherungsprozessen
» Skalierbar – Zusätzliche User und Daten können störungsfrei
hinzugenommen werden
» Einfache Bereitstellung – Big Data Discovery auf Exalytics = Analyse-Engine
– Mit Oracle Big Data Appliance kombinierbar
B
Oracle Exalytics = Edge Server mit Infiniband-Anbindung an Oracle Big Data Appliance
Oracle Big Data Discovery – Deployment (Variante #3)
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |
Find Explore Transform Discover Share
Oracle Big Data Discovery by Example Teil 2
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 48
Discover
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 49
Discover
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 50
Discover
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 51
Discover
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 52
Discover
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 53
Share
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 54
Share
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 55
Share
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Data Lab: Data Discovery und Analytics im Zusammenspiel
Oracle Advanced Analytics
Oracle Big Data Discovery
Statistische Modelle entwickeln/testen
Keine unnötige Datenbewegung; die Algorithmen zu den Daten bringen
Oracle R und Data Mining für massiv-parallele Berechnungen in Hadoop oder in der Oracle Datenbank
Direkt abfragbar via SQL und mit Oracle BI Werkzeugen
Unbekannte Datensets für Analytics & Datenprojekte auffinden
Art und Qualität der Daten inspizieren
Daten für weitere analytische Aufgaben transformieren und anreichern
Zusammenhänge in den Daten erkennen
Erkenntnisse mit Fachkollegen teilen
Ergebnisse in das Tagesgeschäft
übertragen
Interpretieren & Evaluieren
Selektion, Aufbereitung & Transformation
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Oracle R Enterprise (ORE)
» Erlaubt verteilte Verarbeiung großer Datenmengen
» Profitiert von DB Funktionen, z.B. Security & SQL-Zugriff
» R Studio = GUI für Data Analysten
57
Oracle Data Mining (ODM)
» Implementiert im Oracle Databank-Kernel
» Direkter Zugriff via PL/SQL API & SQL-Operatoren
» Oracle Data Miner GUI ist Bestandteil vom SQL Developer
Data Science mit Oracle Advanced Analytics
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 58
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 59
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Schritte bis zum Analyseergebnis dokumentieren
Ergebnispräsentation: Wahrscheinlichkeiten erklären/
Risiken klar benennen
60
Ergebnisse in nachvollziehbare Story „verpacken“
Data Lab: Resultate interpretieren und verständlich machen
Result of 1000 simulations of a $100 million investment in a new factory: Estimation expects an annual return of 20% over a 10-year lifespan, but the risk to loose invested money is still 8%
Big Data Discovery – Gallery feature documents all discovery steps taken to achieve new insights
Example of individually created Infographics explaining key findings of new insights
Neue Erkenntnisse gewinnbringend einsetzen
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Auf dem Weg zum erkenntisorientierten Unternehmen
62
Perf.
Mgmt.
Knowledge Discovery
Dynamic Dashboards & Ad hoc Reports
Standardberichtswesen
Intelligente Geschäftsprozesse
Top-Entscheider / Executives Entscheidungen und Maßnahmen
aufgrund von KPI’s, Scorecards, etc.
Business Analysten: Analysen zur Untstützung des operativenTagesgeschäfts
Berichtskonsumenten: Benötigen ggf. Detailinformationen bis
hin zu Einzelvorgängen und Transaktionen
Automatisierte Prozesse: Z.B. Echtzeitempfehlungen,
Intelligente Steuerung von Einzeltransaktionen, etc.
BI Competence Center
Data Scientists / Analytics Team Informationsanalyse zur
Erreichung strategischer Ziele
Analytical Competence Center Neue
Erkenntnis
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 63
Erkenntnisse aus dem Data Lab operationalisieren
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 64
Übernimmt das Management der Datenflüsse innerhalb und zwischen den Plattformen
Data Factory
» Verschiedene Deployment-Optionen: Organisationsweiten Lernprozess unterstützen Events, Kundeninteraktion “intelligent” automatisieren Risikoindikatoren, Alarmsystem, Scoring, Segmentbildung
» Deployment-Option bestimmt Technolgieauswahl Self-Service BI, Visualisierung, operational BI in Applikation Recommendation Engine, Event Processing
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 65
Versorgt neben dem Data Warehouse auch Data Reservoir und Analytical Sandboxes
ODI 12c: Integrationswerkzeug für die Data Factory
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Von den Rohdaten bis zu aussagekräftigen Informationen
66
Signal Data Information Knowledge Wisdom
Source Systems L0 - Ingestion L1 - Cleansed L2 - Normalised
Accounts
Parties
Account
Parties
Party
Addresses
Party
ContactsParty IDs
Party
EventsParty
Ratings
Account
Limits
Party
History
Collaterals
Account
Collaterals
Party
Collaterals
Account
Balances
Account
Relations
L3 – Presented
Customer
Dimension
Account
Dimension
Currency
Dimension
Product
Dimension
Organization
Dimension
Calendar
Dimension
Account Daily
Facts
Account
Transactions
Transaction
Types
Channel
Dimension
CoA
Dimension
Company
Dimension
Longitudinal Customer view
• Format checks
• Completeness checks
• Domains checks
• Duplicates detection
• Not null validations
• Enrichment
• Record level cleansing and business rules
• Referential integrity
• Context based business rules and quality checks
• Aggregate level checks
• Derived and enriched data
• File validation
• Row completeness
Know nothing Know what Know how Know why
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Mehr Agilität durch Bereitstellung aller vorhandenen Daten
67
Data Reservoir Curated & Modelled Data Data Lake
Know nothing Know what Know how Know why
Source Systems L0 - Ingestion L1 - Cleansed L2 - Normalised
Accounts
Parties
Account
Parties
Party
Addresses
Party
ContactsParty IDs
Party
EventsParty
Ratings
Account
Limits
Party
History
Collaterals
Account
Collaterals
Party
Collaterals
Account
Balances
Account
Relations
L3 – Presented
Customer
Dimension
Account
Dimension
Currency
Dimension
Product
Dimension
Organization
Dimension
Calendar
Dimension
Account Daily
Facts
Account
Transactions
Transaction
Types
Channel
Dimension
CoA
Dimension
Company
Dimension
Longitudinal Customer view
Signal Data Information Knowledge Wisdom
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 68
Erkenntnisse aus dem Data Lab operationalisieren
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 69
Zielgenaue Informationsbereitstellung Oracle Business Intelligence Foundation BI und
Reporting
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Oracle Visual Analyzer
70
Intuitive und anspruchsvolle Analysen durchführen
» Visuelle Datenerkundung über neuen Analyse-Client auf Basis der bewährten Oracle BI Plattform
» Umfangreiche Diagrammauswahl mit automatischer Empfehlung geeigneter Ergebnisdarstellungen
» Einfaches Verschneiden interner Unternehmens-/DWH-Daten mit eigenen Daten (MS Excel Datei)
» Anspruchsvolle Analysen mit wenigen Klicks (R-Integration)
» Auf Tablet-Geräten verwendbar
Oracle BI 12c
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 71
Erkenntnisse aus dem Data Lab operationalisieren
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Real-Time Data Engine: Logische Ansicht
72
Real-time Data Engine
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Real-Time Data Engine: Komponenten
» Message mediation service
» Privacy filter for event data. i.e. apply customer specified privacy and preference filters to the data stream
» Transformation of the message data to outbound form
» Apply declarative rules and models to the data stream to detect events for further downstream processing
» Next Best Activity (NBA) event detection and processing. NBA typically also includes control group management and global optimisation of rules
» Business Activity Monitoring
» Local data store – local persistence of rules and metadata
73
Mediation
Privacy Filter
Data Transform
Rules & Models
Next Best Action
BAM
Real-Time Data Store
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Logische Ansicht*)
Information Management – Big Picture
Ingestion layer includes methods and processes to load data and manage Data Quality. Shape represents the relative cost of these processes. i.e. from none for HDFS to lots in APL.
Raw Reservoir is typically at the lowest level of grain. Often lower than the enterprise cares about.
Interpretation layer shows the relative cost of reading data depending on its location
An immutable store that may be physically implemented in relational or non-relational technologies
* ) Based on Oracle Information Management Reference Architecture
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 75
Actionable Events: Intelligente Customer Experience
iBeacons » Bluetooth Low Energy (BLE)
» Optimized for small bursts of data.
» Impressive battery Life
» Ideal for sensors
Requirements
– Find purchase pattern from data of shopper’s purchase history
– Leverage all the data, including real-time context from Beacon, CRM data, purchase history data, to improve the relevance of the offer
– Leverage predictive models to alleviate the reliance on the rule based models
– Being able to understand customer’s feedback on Beacon marketing
Beispiel
(1/2)
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Actionable Events: Intelligente Customer Experience Lösungsarchitektur
Analysis and Offering
Decision Engine
Unstructured Text Analysis (VoC analysis)
Rule Based Statistical
Model-based
Modeling Processing
Real Time Offering
Qualitative indices
Text Mining
Data Dictionary
Text Analysis
Collection
Batch collection
Real Time Collection
Web Crawling
Open API
Storage and processing Utilization
ETL
Treatment Store
Hadoop File
Reduce Map
HDFS
Datafile#1 HDFS
Datafile#2 HDFS
Datafile#n HDFS
NoSQL DB Transaction (Key-Value)
Stores
Big Data Connectors
Mobile Apps
Unstructured Data Visualization
Coupon
Mileage
…..
New information
Keywords Visualization
Search Vigan Visualization
Dash Board
Mobile
Real Time
Formal & Informal
Integration
Source system
Other internal and external systems
Beacon
Time
Phone Number
Distance
Beacon MAC
Customer
…..
Martial Status
Customer Type
Customer ID
…..
Num of Children
Occupation
Gender
Purchase
Amount
Product
Customer ID
…..
Quantity
Date
Smart App
Web
VOC
SNS
ODS DW
Advanced Analytics on
Purchase Pattern
Beispiel
(2/2)
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Actionable Events: Intelligente Customer Experience Lösungsarchitektur – mit Oracle Produktmapping
Analysis and Offering
Decision Engine
Unstructured Text Analysis (VoC analysis)
Rule Based Statistical
Model-based
Modeling Self-Learning
Real Time Offering
Qualitative indices
Text Mining
Data Dictionary
Text Analysis
Collection
Batch collection
Real Time Collection
Web Crawling
Open API
Storage and processing Utilization
ETL
Treatment Store
Hadoop File
Reduce Map
HDFS
Datafile#1 HDFS
Datafile#2 HDFS
Datafile#n HDFS
NoSQL DB Transaction (Key-Value)
Stores
Big Data Connectors
Mobile Apps
Unstructured Data Visualization
Coupon
Mileage
…..
New information
Keywords Visualization
Search Vigan Visualization
Dash Board
Mobile
Real Time
Formal & Informal
Integration
Source system
Other internal and external systems
Beacon
Time
Phone Number
Distance
Beacon MAC
Customer
…..
Martial Status
Customer Type
Customer ID
…..
Num of Children
Occupation
Gender
Purchase
Amount
Product
Customer ID
…..
Quantity
Date
Smart App
Web
VOC
SNS
ODS DW
Advanced Analytics on
Purchase Pattern
Oracle Big Data Appliance
Oracle Event
Processing
Endeca
Information Discovery
Oracle Advanced Analytics
Ora
cle
Dat
abas
e
Oracle Big Data Connectors
Oracle Data Integrator
Oracle Golden Gate
Oracle Data Integrator
Beispiel
(2/2)
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Takeaway Message
„Um als Unternehmen die Transformation hin zu einem daten- und erkenntisorientierten Unternehmen erfolgreich zu bewältigen, müssen Sie viel Althergebrachtes auf den Prüfstand stellen und Ihre BI-Strategie an die neuen Gegebenheiten anpassen.
Am Anfang steht dabei ein Umdenken, eine Änderung von Kultur und Einstellungen. Nur dann können moderne Ansätze zu Business Intelligence und Big Data Analytics ihr volles Potenzial entfalten und Unternehmen von neuen Insights für ihr Geschäft wirklich gewinnbringend profitieren.“ *)
78
*) Aus dem Artikel „In 7 Schritten zu einer zukunftsfesten Business-Intelligence-Strategie“ von Rüdiger Eberlein, Capgemini
Oracle unterstützt als Technologiepartner mit abgestimmten und skalierbaren Hardware-/Softwarelösungen dabei, vorhandenes IT Know-how (SQL, ETL, etc.) auch bei der Umsetzung von neuen Konzepten einsetzen und für Big Data Analytics weiterentwickeln zu können.
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 79
Big Data mit dem Oracle Exa* Product Stack selbst erleben!
Wie weiter?
www.ise-informatik.de
ISE Information Systems Engineering
Hauptsitz in Gräfenberg, NL in München und Nürnberg
IT-Services / Consulting für Großunternehmen und den Mittelstand
Schwerpunkte:
Oracle Core Technology Database (RAC), Application Server (WebLogic)
Oracle Exadata / Big Data Appliance / Exalytics eXtreme Performance
Oracle Data Warehousing, Business Intelligence und Analytics
Oracle Exadata Migrations
Performance Analysis & Optimization
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
Wie weiter? Get Your Hands Dirty mit Oracle‘s Big Data Lite Developer VM
www.oracle.com/technetwork/community/developer-vm Video Streaming Company Beispiel
„Oracle MoviePlex“
Free
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |
» BI Community Event im Rahmen der DOAG K+A Di. 17.11.2015 ab 18:30, Landbierparadies Nürnberg Wodanstr. 15
» Unconference: OWB – Was Nun? Di. 17.11.2015 / 15 Uhr
» Data Vault Forum Mi. 18.11.2015 / 15 Uhr Galileo Lounge, Ebene 3
» Data Integration Day 2015 Mi. 9.12.2015 / 10 Uhr, Sulzbach (Taunus)
» DOAG BI Konferenz 8.-9.6.2016, Bonn, Kameha
DOAG BI Community - Veranstaltungen
81
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 82
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |