big data discovery + analytics = datengetriebene innovation!

82
Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Big Data Discovery + Analytics = Datengetriebene Innovation! DOAG Konferenz Nürnberg, 17.-19. November 2015 Harald Erb ORACLE Business Analytics, EMEA

Upload: harald-erb

Post on 16-Apr-2017

733 views

Category:

Data & Analytics


1 download

TRANSCRIPT

Page 1: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Big Data Discovery + Analytics = Datengetriebene Innovation!

DOAG Konferenz Nürnberg, 17.-19. November 2015 Harald Erb ORACLE Business Analytics, EMEA

Page 2: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

• Harald Erb • Principal Sales Consultant

• Business Analytics Architecture Domain Lead - DE/CH Cluster

• Kontakt

+49 (0)6103 397-403

[email protected]

Referent

Page 3: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

3

Page 4: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 4

Digital Business – in Echtzeit und überall möglich

Lufthansa setzt z.B. im Flughafen Frankfurt iBeacons ein, iPhone-Nutzer erhalten nun ortsspezifische Hinweise (nächste Lounge, Kundencenter, voraussichtliche Wartezeit bei Sicherheitskontrollen)

Die Postkarte kann von überall nach überall verschickt und je nach Handelspartner per Kreditkarte, Lastschrift oder PayPal bezahlt werden. Produziert und verschickt wird die Postkarte von Deutschland aus. Digital Disruption vom Strand / Pool?

Verkauf von Datenprodukten Vorsprung durch mehr Service Bessere Kundenbindung

Das Smartphone als neue Loyality-Karte: Mobil bezahlen, Guthaben verwalten, Frei-getränke als Bonus einlösen. Service: Store-Finder, Öffnungszeiten, etc. Personalisierung: Verknüpfen mit Facebook-/Twitter-Accounts, Kaufempfehlungen sollen folgen

Page 5: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 5

Ein Beispiel: „Hijack Campaign“ – In den Läden der Wettbewerber Geschäfte anbahnen

Digital Disruption

Video: „HIJACK - MEAT PACK GUATEMALA“Cannes Lions Winner of Bronze & Silver (Mobile Category)

Page 6: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 6

Ein Beispiel: „Hijack Campaign“ – In den Läden der Wettbewerber Geschäfte anbahnen

Digital Disruption

Page 7: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 7

They ‘Reframe’ Challenges

Looking at them from new perspectives and multiple angles

They Sprint

They work at pace - researching, testing and evaluating current ideas while generating new ones

They Appreciate That

Failure Can Be Good

and are not afraid of new ideas

They Convert Data Into Value

They invest heavily in analyzing their own data and data from external sources to establish patterns and un-noticed opportunities

Digital Business Leaders – auffällige Merkmale

Page 8: Big Data Discovery + Analytics = Datengetriebene Innovation!

Konzept: Data Lab

Die benötigten analytischen, technischen und fachlichen Skills sind nur schwer in einer Person zu vereinen. Als Alternative bietet sich ein Teamansatz an, der vor-handene fachliche und technische Expertise nutzt und neue Skills (Big Data Architektur, Data Science) entwickelt

Beginnt mit dem Auftrag zu einer analytischen Aufgabe (neues Modell/Datenprodukt, Location-based Services, etc.). Datenbeschaffung, -untersuchung, Modellbildung, Prototyping, Validierung, Verwertung der Ergebnisse sind weitere Phasen in einem Data Analytics Zyklus

Datenprojekt: Team & Rollen

Prozess

Page 9: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 9

Data Analytics Lifecycle

Data Understanding

Data Preparation

Model Planning

Model Evaluation

Communicate Results

Operationalize & Monitor

Ist die Aufgabenstellung präzise genug und liegen alle

Informationen für den Entwurf eines analytischen Plans vor?

Liegen die notwendigen Daten in ausreichender Qualität vor, damit mit

dem Modellentwurf begonnen werden kann?

Gibt es eine Vorstellung bzw. Idee welche Art von Modell

ausprobiert/ verwendet werden kann? Läßt sich der analyt. Plan konkretisieren?

Ist das gefundene Modell robust genug und sind die

Ergebnisse überprüft? War das Datenexperiment ein Fehlschlag oder erfolgreich?

Business Goals

Page 10: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 10

Bereits bekannt aus dem täglichen Projektgeschäft

Datenprojekt: Rollenverteilung / Team

» Projektsponsor: Oft verantwortlich für die Entstehung des Projektes, gibt den Impuls und definiert die zu lösende Aufgabenstellung bzw. das zu bearbeitende Geschäftsproblem. Projektfinanzierung, Zielvorgaben, Priorisierung und Meßgrößen für die Ergebnisbewertung werden hier ebenfalls festgelegt.

» Projektmanager: Stellt sicher, dass wichtige Meilensteine und Ziele während des Projektverlaufs zeitgerecht und in der erwarteten Qualität erreicht werden. Verhandelt und organisiert möglichst vor Projektbeginn die Bereitstellung zusätzlicher Ressourcen.

» Business Intelligence Analyst: Unterstützt das Projekt einerseits mit Fachwissen zu den Geschäftsbereichen und tiefgehendes Verständnis zu Key Performance Indikatoren (KPI), den Inhalten der vorhandenen BI-Lösung und mit den zugrundeliegenden Datenquellen. Sofern in der Unternehmensorganisation etabliert, kann diese Rolle von einem Mitglied des BI Competence Centers (BICC) wahrgenommen werden – mit dem Vorteil, dass das BICC von Anfang an involviert ist und zu Projektende aktiv bei der Operationalisierung der Analyseergebnisse mitwirken kann.

» Datenbank Administrator: Für die im Datenprojekt benötigte Analytics Sandbox provisioniert und konfiguriert der DBA gemäß Anforderung die für die Datenexperimente benötigte Datenbank. Zu den Verantwortlichkeiten gehören hier auch das Einräumen von Zugriffsrechten für wichtige Quellsysteme, Tabellen, Repositories unter Einhaltung vorgegebener Sicherheitsstufen.

Page 11: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 11

Die neue Rollen bzw. Schlüsselrollen

Datenprojekt: Rollenverteilung / Team

» Fachexperte/Domainspezialist: Personen, die das Fachgebiet verstehen und üblicherweise auch von den Ergebnissen eines solchen Projektes profitieren. Sie beraten das Team hinsichtlich des Projektkontextes, welchen Mehrwert die angestrebten Ergebnisse liefern sollen und wie diese später im Erfolgsfall operationalisiert werden können. Häufig nehmen Fachverantwortliche, Business Analysten oder Line Manager solche Rollen ein.

» Data Engineer: Verantwortet Planung und Design der Analytics Sandbox und von Big Data- Architekturen, setzt hoch-performante Hadoop-Anwendungen auf Java-Basis um. Ferner gehört die Datenextraktion aus bestehenden Systemen sowie die Datenaufnahme und –aufbereitung in der Analytics Sandbox zu den Aufgabenschwerpunkten. Als Lead-Developer entwickelt und berät diese Funktion auch das Projektmanagement in technischen Fragen.

» Data Scientist: Bringt zur Lösung des gestellten Geschäftsproblems bzw. Aufgabenstellung für das Datenexperiment das Fachwissen zur Auswahl der passenden analytischen Techniken mit, leitet die Datenmodellierung sowie die Ausführung und Ergebnisüberprüfung der analytischen Methoden an.

Page 12: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 12

Oracle Information Management Referenzarchitektur – Konzeptansicht

Arbeitsumgebung für Datenprojekte schaffen

Page 13: Big Data Discovery + Analytics = Datengetriebene Innovation!

Konzept: Data Lab

Werkzeuge unc Mittel zur interaktiven Datenanalyse von

beliebigen Kombinationen strukturierter und

unstrukturierter Datenquellen

Enthält alle für das Daten-Projekt benötigten Kopien vorhandener Unternehmensdaten und extern

beschafften Data Sets

Anwendung geeigneter statistischer Verfahren , Optimierung der

Parameter und Auswahl eines Modells, das die Aufgabenstellung

am besten erfüllt

Data Discovery

Analytical Sandbox Data Science

Page 14: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 14

Überblick

Data Lab

» Datenerkundung Data Scientist sind im Lead » Domänen-/Fachwissen ein kritischer Erfolgsfaktor » Große Daten- und Werkzeugvielfalt » Datenaufbereitung eine erhebliche Herausforderung » Data Mashup & “ETL on the fly” agile Analysen

Page 15: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 15

Eigenschaften und Rahmenbedingungen

Analytical Sandbox

» Bereitstellung aller vorhandenen Daten in unverarbeiteter Form für Datenexploration, Predictive Modeling, Data Mining, usw.

» Workspace für störungsfreie Datenexperimente (unternehmenskrit. Systeme bleiben unberührt)

» Art des Datenprojekts bestimmt Aufbau und Größe der Sandbox:

Hadoop-Architektur und/oder Datenbank und/ oder viel Plattenplatz; In-Memory/Speziallösungen

5..10-fachen Platz pro original Data Set einplanen Datenkopien oder neue Data Sets entstehen durch Anreicherung von Daten durch das Verschneiden mit zusätzlichen Datenquellen.

Umgang mit semistrukturierten und unstruk-turierte Daten

» Bestreben des Data Lab-Teams nach Exploration aller verfügbaren Daten steht im natürlichen Konflikt zu aufwendigen IT-Prozessen, die Datenqualität und Datenschutz sicherstellen

» Herausforderungen:

Angemessener Umgang mit sensiblen personenbezogenen Daten, z.B. durch Anonymisierung/Pseudonymisierung

Sicherstellung der zweckgebundene Verwendung

Ausreichender Zugriffsschutz und Auditing

» Enterprise IT, Data Owner/Data Stewards müssen bei Datenbeschaffung, -bereitstellung und qualitätssicherung kooperieren, um moderne Analyseansätze zu ermöglichen

Page 16: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 16

Datenversorgung

Analytical Sandbox Analysis Processing & Delivery

Data Lab & Development Environment

Data

Science

(Primary

Toolset)

Statistics Tools

Data & Text Mining Tools

Faceted Query Tools

Programming & Scripting

Data Modelling Tools

Query & Search Tools

Pre-Built

Intelligence

Assets

Intelligence

Analysis

Tools

Ad Hoc Query & Analysis Tools

OLAP Tools

Forecasting & Simulation Tools

Reporting Tools

Vir

tua

lisa

tio

n &

Info

rma

tio

n S

erv

ice

s

Versorgung von Datenprojekten

Data Quality & Profiling

Graphical rendering tools

Dashboards & Reports

Scorecards

Charts & Graphs

Sandbox – Project 3

Sandbox – Project 2

Sandbox – Project 1

Data store Analytical Processing

Versorgung der BI Plattform

1

2

Page 17: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 17

Hadoop-Technologie kann dabei helfen Big Data Herausforderungen zu meistern

Analytical Sandbox vs. Hadoop

“The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. Hadoop is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-available service on top of a cluster of computers, each of which may be prone to failures.“

Page 18: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

» Vergleichsweise niedrige Kosten bei guter horizontaler Skalierbarkeit der Infrastruktur

» Speicherung von mehr Daten, mehr Details und über längere Zeiträume möglich

» Kostengünstige Möglichkeit, um große Datenmengen zu analysieren

» Das "Schema-on-Read" Prinzip erlaubt die Anwendung innovativer Analysestrategien bei der Nutzung der neuen Datenvielfalt

» Komplementär zu bestehenden Data Warehouse-Technologien

18

Vorteile von Hadoop im Analysekontext

Analytical Sandbox vs. Hadoop

Page 19: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Analytical Sandbox - Technologieauswahl Beispiel mit möglichen Anforderungen & Entscheidungskriterien

0

1

2

3

4

5 Tooling maturity

Stringent Non-Functionals

ACID transactional requirement

Security

Variety of data formats

Data sparsity

ETL simplicity

Cost effectively store low value data

Ingestion rate

Straight Through Processing (STP)

Hadoop

Relational

My Application

Page 20: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 20

Aktivitäten im Rahmen des Analyseprozesses

Data Discovery

Quelle: O’Reilly Article : ”Data Analysis: Just one component of the Data Science workflow”

Data Discovery Modeling Analytical

Apps

Ingest & Clean

Manage & Update

Aquire

Store & Expose

Visual Analysis

Wrangle

Featurize

Interactive Queries

Train

Update

Model

Evaluate

Deploy

Monitor

Build

Train

Data Insights Models

Enrichments Features Vectors

Zeitaufwändig (50...80% von der Gesamtzeit)

Page 21: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 21

Mit Hadoop-Bordmitteln: HDFS und Hive Command Line Tools

Data Discovery

Unix / Linux – ähnliche Befehle für Dateioperationen im Hadoop Distributed File System (HDFS) SQL-Abfragen mit der Hive Command Line (Hive CLI)

Page 22: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 22

Mit Cloudera-Bordmitteln: Impala MPP*) SQL Engine und HUE **)

Data Discovery

**) Grafische Benutzeroberfläche HUE (Hadoop User Experience) von Cloudera: SQL Abfrage einer Hive-Tabelle mit Ergebnisdarstellung als Diagramm

*) Impala erlaubt interaktive Ad-hoc-Abfragen mit SQL-Syntax. Anstelle von MapReduce wird eine massive Parallelverarbeitungs- (Massive Parallel Processing – MPP) Engine verwendet, die derjenigen in herkömmlichen relationalen (RDBMS) ähnelt. Bei dieser Architektur können die Daten in HDFS- oder HBase-Tabellen schneller als mit Hive abgefragt werden

Page 23: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 24

Oracle Big Data Discovery: “The Visual Face of Hadoop”

Find Explore Transform Discover Share

Page 24: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Oracle Big Data Discovery

25

Unterstützt den Team-Ansatz – anstatt von Data Scientists allein abhängig zu sein

DWH / OLTP

Databases

Database Administrator

(Enterprise IT)

Hadoop

ETL/ELT Specialist

(Enterprise IT , member of

Data Factory)

Data Engineer

Data Science

Discovery Output

Business Analyst

New KPI, Report Requirement

Data Scientist

New Data Set (cleaned / enriched)

Page 25: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 26

Per Datei-Upload und Direktzugriff auf Datenbanken aus der Analytical Sandbox

Oracle Big Data Discovery mit Daten versorgen

Page 26: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 27

Automatisiertes/manuelles Laden mit dem BDD Command Line Tool (EDP_CLI)

Oracle Big Data Discovery mit Daten versorgen

19

20

; ; ;

Dateien liegen im Hadoop Distributed File System, passend dazu wird eine Hive Tabelle angelegt und mit Daten geladen (z.B. via HUE)

Beispiel für einen manuellen Aufruf des Ladeprozesses mit dem Oracle Big Data Discovery Command Line Tool

Ergebnis: Nach erfolgreichem Ladeprozess mit dem Oracle Big Data Discovery Command Line Tool ist das neue Data Set in der BDD Studio Anwendung verwendbar

Page 27: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 28

Data Sets aus der Analytical Sandbox – gut organisiert und leicht auffindbar

Oracle Big Data Discovery

Page 28: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 29

Page 29: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |

Find Explore Transform Discover Share

Oracle Big Data Discovery by Example Teil 1

Page 30: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 31

Find

Page 31: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 32

Explore

Page 32: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 33

Explore

Page 33: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 34

Explore

Page 34: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 35

Explore

Page 35: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 36

Transform

Page 36: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 37

Transform

Page 37: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 38

Transform

Page 38: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 39

Transform

Page 39: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 40

Transform

Page 40: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 41

Transform

Page 41: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 42

Transform

Page 42: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 43

Wie Daten(-Samples) aus Hadoop verarbeitet werden

Oracle Big Data Discovery – Blick hinter die Kulissen

Page 43: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 44

Oracle Big Data Discovery – Deployment (Variante #1)

Diagram adopted from RittmannMead 2015

Commodity Hadoop Cluster

Page 44: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 45

Direkt installierbar auf der Oracle Big Data Appliance

Oracle Big Data Discovery – Deployment (Variante #2)

B

Node 1 Node 2 Node 3 Node 4 Node 5 Node 6 … n Balancer

CM Agent

DataNode

Failover Controller

JournalNode

NameNode

NodeManager

Puppet

Puppet Master

ZooKeeper

CM Agent

DataNode

Failover Controller

JournalNode

MySQL Backup

NameNode

NodeManager

Puppet

ZooKeeper

CM Server

CM Agent

DataNode

JobHistory

JournalNode

MySQL Primary

NodeManager

Puppet

ResourceManager

ZooKeeper

CM Agent

DataNode

Hive, Hue, Oozie, Solr

NodeManager

ODI Agent

Puppet

ResourceManager

Weblogic Server

Dgraph

HDFS Agent

CM Agent

Puppet

CM Agent

DataNode

NodeManager

Puppet

• One Dedicated Big Data Discovery Node: Runs BDD-specific processes only, no Hadoop services run on this node, provides storage for Dgraph

• Ab Big Data Appliance Softwareversion 4.3 automatisch mit Mammoth installierbar

Page 45: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 46

Big Data Appliance

» Exalytics Steckbrief (Modell X5-4) – 4 Intel Xeon© E7-8895 v3 Serie, 8- 72 CPU-Kerne

– 2…3 TB RAM, 4,8TB PCI Flash

– Zwei 40 GB/s infiniband ports und Ethernet port

» Das Beste aus beiden Welten: – Exalytics beschleunigt explorative Analysen

– Hadoop skaliert bei Datentransformationen und Datenanreicherungsprozessen

» Skalierbar – Zusätzliche User und Daten können störungsfrei

hinzugenommen werden

» Einfache Bereitstellung – Big Data Discovery auf Exalytics = Analyse-Engine

– Mit Oracle Big Data Appliance kombinierbar

B

Oracle Exalytics = Edge Server mit Infiniband-Anbindung an Oracle Big Data Appliance

Oracle Big Data Discovery – Deployment (Variante #3)

Page 46: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |

Find Explore Transform Discover Share

Oracle Big Data Discovery by Example Teil 2

Page 47: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 48

Discover

Page 48: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 49

Discover

Page 49: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 50

Discover

Page 50: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 51

Discover

Page 51: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 52

Discover

Page 52: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 53

Share

Page 53: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 54

Share

Page 54: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 55

Share

Page 55: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Data Lab: Data Discovery und Analytics im Zusammenspiel

Oracle Advanced Analytics

Oracle Big Data Discovery

Statistische Modelle entwickeln/testen

Keine unnötige Datenbewegung; die Algorithmen zu den Daten bringen

Oracle R und Data Mining für massiv-parallele Berechnungen in Hadoop oder in der Oracle Datenbank

Direkt abfragbar via SQL und mit Oracle BI Werkzeugen

Unbekannte Datensets für Analytics & Datenprojekte auffinden

Art und Qualität der Daten inspizieren

Daten für weitere analytische Aufgaben transformieren und anreichern

Zusammenhänge in den Daten erkennen

Erkenntnisse mit Fachkollegen teilen

Ergebnisse in das Tagesgeschäft

übertragen

Interpretieren & Evaluieren

Selektion, Aufbereitung & Transformation

Page 56: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Oracle R Enterprise (ORE)

» Erlaubt verteilte Verarbeiung großer Datenmengen

» Profitiert von DB Funktionen, z.B. Security & SQL-Zugriff

» R Studio = GUI für Data Analysten

57

Oracle Data Mining (ODM)

» Implementiert im Oracle Databank-Kernel

» Direkter Zugriff via PL/SQL API & SQL-Operatoren

» Oracle Data Miner GUI ist Bestandteil vom SQL Developer

Data Science mit Oracle Advanced Analytics

Page 57: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 58

Page 58: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 59

Page 59: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Schritte bis zum Analyseergebnis dokumentieren

Ergebnispräsentation: Wahrscheinlichkeiten erklären/

Risiken klar benennen

60

Ergebnisse in nachvollziehbare Story „verpacken“

Data Lab: Resultate interpretieren und verständlich machen

Result of 1000 simulations of a $100 million investment in a new factory: Estimation expects an annual return of 20% over a 10-year lifespan, but the risk to loose invested money is still 8%

Big Data Discovery – Gallery feature documents all discovery steps taken to achieve new insights

Example of individually created Infographics explaining key findings of new insights

Page 60: Big Data Discovery + Analytics = Datengetriebene Innovation!

Neue Erkenntnisse gewinnbringend einsetzen

Page 61: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Auf dem Weg zum erkenntisorientierten Unternehmen

62

Perf.

Mgmt.

Knowledge Discovery

Dynamic Dashboards & Ad hoc Reports

Standardberichtswesen

Intelligente Geschäftsprozesse

Top-Entscheider / Executives Entscheidungen und Maßnahmen

aufgrund von KPI’s, Scorecards, etc.

Business Analysten: Analysen zur Untstützung des operativenTagesgeschäfts

Berichtskonsumenten: Benötigen ggf. Detailinformationen bis

hin zu Einzelvorgängen und Transaktionen

Automatisierte Prozesse: Z.B. Echtzeitempfehlungen,

Intelligente Steuerung von Einzeltransaktionen, etc.

BI Competence Center

Data Scientists / Analytics Team Informationsanalyse zur

Erreichung strategischer Ziele

Analytical Competence Center Neue

Erkenntnis

Page 62: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 63

Erkenntnisse aus dem Data Lab operationalisieren

Page 63: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 64

Übernimmt das Management der Datenflüsse innerhalb und zwischen den Plattformen

Data Factory

» Verschiedene Deployment-Optionen: Organisationsweiten Lernprozess unterstützen Events, Kundeninteraktion “intelligent” automatisieren Risikoindikatoren, Alarmsystem, Scoring, Segmentbildung

» Deployment-Option bestimmt Technolgieauswahl Self-Service BI, Visualisierung, operational BI in Applikation Recommendation Engine, Event Processing

Page 64: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 65

Versorgt neben dem Data Warehouse auch Data Reservoir und Analytical Sandboxes

ODI 12c: Integrationswerkzeug für die Data Factory

Page 65: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Von den Rohdaten bis zu aussagekräftigen Informationen

66

Signal Data Information Knowledge Wisdom

Source Systems L0 - Ingestion L1 - Cleansed L2 - Normalised

Accounts

Parties

Account

Parties

Party

Addresses

Party

ContactsParty IDs

Party

EventsParty

Ratings

Account

Limits

Party

History

Collaterals

Account

Collaterals

Party

Collaterals

Account

Balances

Account

Relations

L3 – Presented

Customer

Dimension

Account

Dimension

Currency

Dimension

Product

Dimension

Organization

Dimension

Calendar

Dimension

Account Daily

Facts

Account

Transactions

Transaction

Types

Channel

Dimension

CoA

Dimension

Company

Dimension

Longitudinal Customer view

• Format checks

• Completeness checks

• Domains checks

• Duplicates detection

• Not null validations

• Enrichment

• Record level cleansing and business rules

• Referential integrity

• Context based business rules and quality checks

• Aggregate level checks

• Derived and enriched data

• File validation

• Row completeness

Know nothing Know what Know how Know why

Page 66: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Mehr Agilität durch Bereitstellung aller vorhandenen Daten

67

Data Reservoir Curated & Modelled Data Data Lake

Know nothing Know what Know how Know why

Source Systems L0 - Ingestion L1 - Cleansed L2 - Normalised

Accounts

Parties

Account

Parties

Party

Addresses

Party

ContactsParty IDs

Party

EventsParty

Ratings

Account

Limits

Party

History

Collaterals

Account

Collaterals

Party

Collaterals

Account

Balances

Account

Relations

L3 – Presented

Customer

Dimension

Account

Dimension

Currency

Dimension

Product

Dimension

Organization

Dimension

Calendar

Dimension

Account Daily

Facts

Account

Transactions

Transaction

Types

Channel

Dimension

CoA

Dimension

Company

Dimension

Longitudinal Customer view

Signal Data Information Knowledge Wisdom

Page 67: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 68

Erkenntnisse aus dem Data Lab operationalisieren

Page 68: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 69

Zielgenaue Informationsbereitstellung Oracle Business Intelligence Foundation BI und

Reporting

Page 69: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Oracle Visual Analyzer

70

Intuitive und anspruchsvolle Analysen durchführen

» Visuelle Datenerkundung über neuen Analyse-Client auf Basis der bewährten Oracle BI Plattform

» Umfangreiche Diagrammauswahl mit automatischer Empfehlung geeigneter Ergebnisdarstellungen

» Einfaches Verschneiden interner Unternehmens-/DWH-Daten mit eigenen Daten (MS Excel Datei)

» Anspruchsvolle Analysen mit wenigen Klicks (R-Integration)

» Auf Tablet-Geräten verwendbar

Oracle BI 12c

Page 70: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 71

Erkenntnisse aus dem Data Lab operationalisieren

Page 71: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Real-Time Data Engine: Logische Ansicht

72

Real-time Data Engine

Page 72: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Real-Time Data Engine: Komponenten

» Message mediation service

» Privacy filter for event data. i.e. apply customer specified privacy and preference filters to the data stream

» Transformation of the message data to outbound form

» Apply declarative rules and models to the data stream to detect events for further downstream processing

» Next Best Activity (NBA) event detection and processing. NBA typically also includes control group management and global optimisation of rules

» Business Activity Monitoring

» Local data store – local persistence of rules and metadata

73

Mediation

Privacy Filter

Data Transform

Rules & Models

Next Best Action

BAM

Real-Time Data Store

Page 73: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Logische Ansicht*)

Information Management – Big Picture

Ingestion layer includes methods and processes to load data and manage Data Quality. Shape represents the relative cost of these processes. i.e. from none for HDFS to lots in APL.

Raw Reservoir is typically at the lowest level of grain. Often lower than the enterprise cares about.

Interpretation layer shows the relative cost of reading data depending on its location

An immutable store that may be physically implemented in relational or non-relational technologies

* ) Based on Oracle Information Management Reference Architecture

Page 74: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 75

Actionable Events: Intelligente Customer Experience

iBeacons » Bluetooth Low Energy (BLE)

» Optimized for small bursts of data.

» Impressive battery Life

» Ideal for sensors

Requirements

– Find purchase pattern from data of shopper’s purchase history

– Leverage all the data, including real-time context from Beacon, CRM data, purchase history data, to improve the relevance of the offer

– Leverage predictive models to alleviate the reliance on the rule based models

– Being able to understand customer’s feedback on Beacon marketing

Beispiel

(1/2)

Page 75: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Actionable Events: Intelligente Customer Experience Lösungsarchitektur

Analysis and Offering

Decision Engine

Unstructured Text Analysis (VoC analysis)

Rule Based Statistical

Model-based

Modeling Processing

Real Time Offering

Qualitative indices

Text Mining

Data Dictionary

Text Analysis

Collection

Batch collection

Real Time Collection

Web Crawling

Open API

Storage and processing Utilization

ETL

Treatment Store

Hadoop File

Reduce Map

HDFS

Datafile#1 HDFS

Datafile#2 HDFS

Datafile#n HDFS

NoSQL DB Transaction (Key-Value)

Stores

Big Data Connectors

Mobile Apps

Unstructured Data Visualization

Coupon

Mileage

…..

New information

Keywords Visualization

Search Vigan Visualization

Dash Board

Mobile

Real Time

Formal & Informal

Integration

Source system

Other internal and external systems

Beacon

Time

Phone Number

Distance

Beacon MAC

Customer

…..

Martial Status

Customer Type

Customer ID

…..

Num of Children

Occupation

Gender

Purchase

Amount

Product

Customer ID

…..

Quantity

Date

Smart App

Web

VOC

SNS

ODS DW

Advanced Analytics on

Purchase Pattern

Beispiel

(2/2)

Page 76: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Actionable Events: Intelligente Customer Experience Lösungsarchitektur – mit Oracle Produktmapping

Analysis and Offering

Decision Engine

Unstructured Text Analysis (VoC analysis)

Rule Based Statistical

Model-based

Modeling Self-Learning

Real Time Offering

Qualitative indices

Text Mining

Data Dictionary

Text Analysis

Collection

Batch collection

Real Time Collection

Web Crawling

Open API

Storage and processing Utilization

ETL

Treatment Store

Hadoop File

Reduce Map

HDFS

Datafile#1 HDFS

Datafile#2 HDFS

Datafile#n HDFS

NoSQL DB Transaction (Key-Value)

Stores

Big Data Connectors

Mobile Apps

Unstructured Data Visualization

Coupon

Mileage

…..

New information

Keywords Visualization

Search Vigan Visualization

Dash Board

Mobile

Real Time

Formal & Informal

Integration

Source system

Other internal and external systems

Beacon

Time

Phone Number

Distance

Beacon MAC

Customer

…..

Martial Status

Customer Type

Customer ID

…..

Num of Children

Occupation

Gender

Purchase

Amount

Product

Customer ID

…..

Quantity

Date

Smart App

Web

VOC

SNS

ODS DW

Advanced Analytics on

Purchase Pattern

Oracle Big Data Appliance

Oracle Event

Processing

Endeca

Information Discovery

Oracle Advanced Analytics

Ora

cle

Dat

abas

e

Oracle Big Data Connectors

Oracle Data Integrator

Oracle Golden Gate

Oracle Data Integrator

Beispiel

(2/2)

Page 77: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Takeaway Message

„Um als Unternehmen die Transformation hin zu einem daten- und erkenntisorientierten Unternehmen erfolgreich zu bewältigen, müssen Sie viel Althergebrachtes auf den Prüfstand stellen und Ihre BI-Strategie an die neuen Gegebenheiten anpassen.

Am Anfang steht dabei ein Umdenken, eine Änderung von Kultur und Einstellungen. Nur dann können moderne Ansätze zu Business Intelligence und Big Data Analytics ihr volles Potenzial entfalten und Unternehmen von neuen Insights für ihr Geschäft wirklich gewinnbringend profitieren.“ *)

78

*) Aus dem Artikel „In 7 Schritten zu einer zukunftsfesten Business-Intelligence-Strategie“ von Rüdiger Eberlein, Capgemini

Oracle unterstützt als Technologiepartner mit abgestimmten und skalierbaren Hardware-/Softwarelösungen dabei, vorhandenes IT Know-how (SQL, ETL, etc.) auch bei der Umsetzung von neuen Konzepten einsetzen und für Big Data Analytics weiterentwickeln zu können.

Page 78: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | 79

Big Data mit dem Oracle Exa* Product Stack selbst erleben!

Wie weiter?

www.ise-informatik.de

ISE Information Systems Engineering

Hauptsitz in Gräfenberg, NL in München und Nürnberg

IT-Services / Consulting für Großunternehmen und den Mittelstand

Schwerpunkte:

Oracle Core Technology Database (RAC), Application Server (WebLogic)

Oracle Exadata / Big Data Appliance / Exalytics eXtreme Performance

Oracle Data Warehousing, Business Intelligence und Analytics

Oracle Exadata Migrations

Performance Analysis & Optimization

Page 79: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

Wie weiter? Get Your Hands Dirty mit Oracle‘s Big Data Lite Developer VM

www.oracle.com/technetwork/community/developer-vm Video Streaming Company Beispiel

„Oracle MoviePlex“

Free

Page 80: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |

» BI Community Event im Rahmen der DOAG K+A Di. 17.11.2015 ab 18:30, Landbierparadies Nürnberg Wodanstr. 15

» Unconference: OWB – Was Nun? Di. 17.11.2015 / 15 Uhr

» Data Vault Forum Mi. 18.11.2015 / 15 Uhr Galileo Lounge, Ebene 3

» Data Integration Day 2015 Mi. 9.12.2015 / 10 Uhr, Sulzbach (Taunus)

» DOAG BI Konferenz 8.-9.6.2016, Bonn, Kameha

DOAG BI Community - Veranstaltungen

81

Page 81: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 82

Page 82: Big Data Discovery + Analytics = Datengetriebene Innovation!

Copyright © 2015, Oracle and/or its affiliates. All rights reserved. |