Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen

Alfred Schlaucher, Detlef Schroeder

DATA WAREHOUSE

Big Data Buzz Word oder eine neue Dimension und Möglichkeiten

Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten

Cloudera Framwork

„Connectors“ in die neue Welt Oracle Loader for Hadoop und HDFS

Big Data Appliance

Mit Oracle R Enterprise neue Analyse-Horizonte entdecken

Big Data Analysen mit Endeca

Themen

Was hat uns bisher interessiert?

Sales & Mktg

Information Technology

Engineering

Supply Management

Service

Finance

Sales & Operational Planning

Production

Warum und wie Big Data jetzt?

New Business Opportunities

Kosten und andere AnalysenNeue Wege der

Datenerzeugung

• Beiläufig entstehende Daten• Maschinen-generiert• Kommunikation• Geo-Bezüge

• Was sind interessante Daten• Wie sind sie zu speichern• Welche Analysetechnik /

Verfahren• Welche Kosten entstehen

Use Case gibt es viele

Use Cases

• Financial Service• Freizeit• Automaten / Logistik• Automotive• Retail

Ein potentieller Fall

Ein Börsen-Unternehmen misst permanent alle relevanten Aktienkurse über einen längeren Zeitraum.In dem Data Warehouse sind alle Entwicklungen,alle Ups und Downs der letzten 10 Jahre genau dokumentiert.

Offen aber bleiben Frage wie:

• Warum sind diese Ups und Downs zu bestimmten Zeiten entstanden?

• Beeinflussen öffentliche Nachrichten den Aktienhandel?

Parallel zu dem Data Warehouse sammelt das Unternehmen alleöffentlich zugänglichen Nachrichten.Gesucht werden bewertende Aussagen zu Zeitpunkten der Aktienbewegungen.

In vielen Lebenssituationen erzeugen wir beiläufig und permanent Daten (z. T. ohne es zu wissen oder zu bemerken)

Potential für neue Analysen und Geschäftsmodelle

Potential für neue Analysen und Geschäftsideen

• 50 Kontaktpunkte / Skifahrer / Tag• 10 KB pro Kontaktpunkt

-> 500KB pro Skifahrer / Tag• Bei 20 Millionen Skifahrer in den

Alplen/Jahr und durchschnittlich 10 Tagen Aufenthalt sind das -> 10 TB / Tag-> 100 TB insgesamt

• Personendaten• Herkunft (Wohnort)• Kartenkaufort• Alter (Geb. Datum)

• Nutzungszeitraum• Monat / Woche / Tag• Tageszeit• Nutzungshäufigkeit

• Wetterdaten• Pistendaten

• Schneeverhältnisse• Schwierigkeitsgrade• Höhenmeter

• Liftdaten• Auslasung

Maschinendaten Vergleichsdaten / DWH

Technologisch erweiterte Möglichkeiten

1980 2010

Bitte nicht als Zigarettenwerbung verstehen. Wir finden Rauchen nicht gut!

• 120000 Automaten / Deutschland• Alle Automaten über Sensorik erfasst und zentral abrufbar• Füllstände, Sensoren in der Mechanik der Geräten • Wartungszyklen, Routenplanung für Service-Techniker

Auto:Der fahrende Computer > 200 Sensoren / Auto

Reifendruck

KraftstoffverbrauchDrehzahl

Beschleunigung

Bremskraft

Getriebeeinstellung

Leerlaufverhalten

Stromverbrauch

Aktivierte Stromverbraucher

Temperatur innen / aussen

Motortemperatur

Öldruck

Kühlwasser

Regenfühler

Fahrpedalgeber

Bremspedalgeber

10 KB / Km (?????)10 MB / Tankfüllung10 TB / Tankfüllung / 1 Mill Autos500 TB / 50.000 km / 1 Mill Autos

1 MB / Km (?????)1 GB / Tankfüllung100 TB / Tankfüllung / 1 Mill Autos5 PB / 50.000 km / 1 Mill Autos

Big Data in der Auto-IndustrieVielfältige Einsatzgebiete

Welche Daten werden gesammelt Verwendung “Use Case”

Komponenten-Sensoren(z. B. Öldrück, Temperatur etc.)

Vorhersage von Pannen Individuellle Service Pläne

Welche Stromverbraucher werden wie oft genutzt

Welche Extras werden genutzt und sind wirklich wichtig

Effektiveres MarketingEingang in F&E

Brems- / Beschleunigungsdaten,Fahrleistung, Schaltverhalten

Messen des individuellenFahrverhaltens

Rekonstruktion von UnfällenIndividuelle Versicherungsangebote

GPS-Geo-PositionenWo befindet sich das Fahrzeug

Wo befindet sich das FahrzeugWelche Strassen werden genutzt

Proactive engagement

Bessere Grundlagen für künftige Anforderungen (Gelände etc.)

Verbrauchsdaten Wer braucht wann und wo und wieviel Treibstoff .Messen des Tankverhaltens.

Genauere Grundlage für Tankstellenplanung

Genauere KundenanalysenMehr als nur klassische Sortimentsanalysen

Business Problem Neue Art der Analyse Nutzen

Zielgenauere Werbebotschaften

Minimieren von Werbeaufwand

Bessere Zielgruppen-orientierung

Kaufgewohnheiten Kundenbindung

Detailliertere Kundenprofile

Hinzuziehen von zusätzlichen Informationsquellen

Co-Varianz-Analysen Emails Web logs

Effizienteres Marketing Umsatzsteigerung Schärfung des

Sortiments

Massenmarkt-Retailer

Soziale StadtpläneWo in bewegen sich zu welchen Zeiten die meisten Menschen

MEDIA/ENTERTAINMENTViewers / advertising effectiveness

COMMUNICATIONSLocation-based advertising

EDUCATION &RESEARCHExperiment sensor analysis

CONSUMER PACKAGED GOODSSentiment analysis of what’s hot, problems

HEALTH CAREPatient sensors, monitoring, EHRsQuality of care

LIFE SCIENCESClinical trialsGenomics

HIGH TECHNOLOGY / INDUSTRIAL MFG.Mfg qualityWarranty analysis

OIL & GASDrilling exploration sensor analysis

FINANCIALSERVICESRisk & portfolio analysis New products

AUTOMOTIVEAuto sensors reporting location, problems

RETAILConsumer sentimentOptimized marketing

LAW ENFORCEMENT & DEFENSEThreat analysis - social media monitoring, photo analysis

TRAVEL &TRANSPORTATIONSensor analysis for optimal traffic flowsCustomer sentiment

UTILITIESSmart Meter analysis for network capacity,

Weitere Big Data Use Cases In allen Branchen

ON-LINE SERVICES / SOCIAL MEDIAPeople & career matchingWeb-site optimization

Challenged by: Data Volume, Velocity, Variety

Acquire Organise Analyse, Decide &Deliver

Semi strukturierte Daten

Unstrukturierte Daten

Strukturierte Daten

TextClickstreamWeb content

Logs

ProfileTransaktionenVertriebswegeAbsatzdaten

KundenprofileExterne DatenSocial Media

Blogs, Feeds, Forum

NOSQL

Relational

High volumn, lowLatency-Daten-Streams

Marktdaten, News

OLTP:Bank, PoS, Credit Card

Complex event processing

Transaction EventCorrelation

HDFSBatch bulk load

Social Media, Mails,Briefe, Verträge

Texte, Dokumente

Low value densitydata processing

User DefinedAlgorithms

StatisticalAnalysis

High value dataprocessing

FilterClassifycorrolate

HDFSReduced data set

KundenprofileAngereicherte Wissensablage

TransaktionenAggregate

Kennzahlen

Analyse Tools

Smart VisualisierungLeicht durchführbare

Abfragen

Kundenvorlieben(Sentiments Analyse)

Massendaten-Analyse

Predictive Analysen

Realtime undSelbstlernend

Stateless DeliveryUnterschiedliche

Kanäle

Mobile

Tablet

Web

Office

„New Data“ Paradigma

Acquire Organise Analyse, Decide &Deliver

Semi strukturierte Daten

Unstrukturierte Daten

Strukturierte Daten

TextClickstreamWeb content

Logs

ProfileTransaktionenVertriebswegeAbsatzdaten

KundenprofileExterne DatenSocial Media

Blogs, Feeds, Forum

NOSQL

Realtional

High volumn, lowLatency-Daten-Streams

Marktdaten, News

OLTP:Bank, PoS, Credit Card

Complex event processing

Transaction EventCorrelation

HDFSBatch bulk load

Social Media, Mails,Briefe, Verträge

Texte, Dokumente

Low value densitydata processing

User DefinedAlgorithms

StatisticalAnalysis

High value dataprocessing

FilterClassifycorrolate

HDFSReduced data set

KundenprofileAngereicherte Wissensablage

TransaktionenAggregate

Kennzahlen

Analyse Tools

Smart VisualisierungLeicht durchführbare

Abfragen

Kundenvorlieben(Sentiments Analyse)

Massendaten-Analyse

Predictive Analysen

Realtime undSelbstlernend

Stateless DeliveryUnterschiedliche

Kanäle

Mobile

Tablet

Web

Office

„New Data“ Paradigma

Acquire Organise Analyse, Decide &Deliver

Semi strukturierte Daten

Unstrukturierte Daten

Strukturierte Daten

TextClickstreamWeb content

Logs

ProfileTransaktionenVertriebswegeAbsatzdaten

KundenprofileExterne DatenSocial Media

Blogs, Feeds, Forum

NOSQL

Realtional

High volumn, lowLatency-Daten-Streams

Marktdaten, News

OLTP:Bank, PoS, Credit Card

Complex event processing

Transaction EventCorrelation

HDFSBatch bulk load

Social Media, Mails,Briefe, Verträge

Texte, Dokumente

Low value densitydata processing

User DefinedAlgorithms

StatisticalAnalysis

High value dataprocessing

FilterClassifycorrolate

HDFSReduced data set

KundenprofileAngereicherte Wissensablage

TransaktionenAggregate

Kennzahlen

Analyse Tools

Smart VisualisierungLeicht durchführbare

Abfragen

Kundenvorlieben(Sentiments Analyse)

Massendaten-Analyse

Predictive Analysen

Realtime undSelbstlernend

Stateless DeliveryUnterschiedliche

Kanäle

Mobile

Tablet

Web

Office

„New Data“ Paradigma

Zählen von Strings und Mustern

Strukturiert

Unstrukturiert

KlassischesDWH

MassenDaten

Klassische Auswertung

+

Acquire Organise Analyse, Decide &Deliver

Semi strukturierte Daten

Unstrukturierte Daten

Strukturierte Daten

TextClickstreamWeb content

Logs

ProfileTransaktionenVertriebswegeAbsatzdaten

KundenprofileExterne DatenSocial Media

Blogs, Feeds, Forum

NOSQL

Realtional

High volumn, lowLatency-Daten-Streams

Marktdaten, News

OLTP:Bank, PoS, Credit Card

Complex event processing

Transaction EventCorrelation

HDFSBatch bulk load

Social Media, Mails,Briefe, Verträge

Texte, Dokumente

Low value densitydata processing

User DefinedAlgorithms

StatisticalAnalysis

High value dataprocessing

FilterClassifycorrolate

HDFSReduced data set

KundenprofileAngereicherte Wissensablage

TransaktionenAggregate

Kennzahlen

Analyse Tools

Smart VisualisierungLeicht durchführbare

Abfragen

Kundenvorlieben(Sentiments Analyse)

Massendaten-Analyse

Predictive Analysen

Realtime undSelbstlernend

Stateless DeliveryUnterschiedliche

Kanäle

Mobile

Tablet

Web

Office

„New Data“ Paradigma

Zählen von Strings und Mustern

Strukturiert

Unstrukturiert

KlassischesDWH

MassenDaten

Klassische Auswertung

IndividualisiertereSichten+

Acquire Organise Analyse, Decide &Deliver

Semi strukturierte Daten

Unstrukturierte Daten

Strukturierte Daten

TextClickstreamWeb content

Logs

ProfileTransaktionenVertriebswegeAbsatzdaten

KundenprofileExterne DatenSocial Media

Blogs, Feeds, Forum

NOSQL

Realtional

High volumn, lowLatency-Daten-Streams

Marktdaten, News

OLTP:Bank, PoS, Credit Card

Complex event processing

Transaction EventCorrelation

HDFSBatch bulk load

Social Media, Mails,Briefe, Verträge

Texte, Dokumente

Low value densitydata processing

User DefinedAlgorithms

StatisticalAnalysis

High value dataprocessing

FilterClassifycorrolate

HDFSReduced data set

KundenprofileAngereicherte Wissensablage

TransaktionenAggregate

Kennzahlen

Analyse Tools

Smart VisualisierungLeicht durchführbare

Abfragen

Kundenvorlieben(Sentiments Analyse)

Massendaten-Analyse

Predictive Analysen

Realtime undSelbstlernend

Stateless DeliveryUnterschiedliche

Kanäle

Mobile

Tablet

Web

Office

„New Data“ Paradigma

Zählen von Strings und Mustern

Strukturiert

Unstrukturiert

KlassischesDWH

MassenDaten

Klassische Auswertung

IndividualisiertereSichten Direkte

Kundenansprache

Direkte Einflussnahme auf Prozesse

Konkrete Aktionen

+

• Explorative Analyse • Komplexe statistische

Analysen• Agile

Berichtsentwicklung• Massive Skalierung • Real Time Ergebnisse

• Abfragen mit extrem hohen Daten-Durchsatz

• Bearbeitung am Speicherplatz

• Hohe Parallelisierung

• Unvorhersehbares Auftreten• Hohe Datenmengen• Flexible Daten-Strukturen• Arbeiten mit vielen Servereinheiten

Big Data: Infrastruktur Anforderungen

Acquire Organize Analyze

Acquire AnalyzeOrganize

Oracle’s integrierte Software Lösung

Oracle (DW)

Oracle (OLTP)

Schema-less

Unstructured

DataVariety

Schema

InformationDensity

Cloudera

HadoopHDFS

Oracle NoSQL DB

OracleAnalytics

MiningRSpatialGraph

OBI EE

OracleMapReduce

Oracle Hadoop Loader

Acquire AnalyzeOrganize

Oracle Engineered Systems

Schema-less

Unstructured

DataVariety

Schema

InformationDensity

Big DataAppliance

Exadata Database Machine

Exalytics

Oracle Database Management System

Reporting &Publishing

Ad-hoc Analysis

Office Integration

Mobile

Scorecards

Interactive Dashboards

BI Server

Oracle Database Management System

Oracle Data Warehouse Architektur für unternehmensweites Datenmanagement

Dat

a In

tegr

atio

nR

eal T

ime

& B

atch

Any Source

Controlling

Financial

Marketing

Sales

HR

BI Apps

Enterprise Information Layer

Operational Data Layer

Information Layer Architecture Concept

User View LayerData IntegrationLayer InDatabase

ROLAPInDatabase MOLAP

Optimiertes Netzwerk

ServerCluster

OperatingSystem

Optimized Network

StorageHierarchy

Server Cluster

Exadata / Database Machine / Exalytics

Reference Data ModelsData Management Concept

Dynamic Data MartsData Quality Rules Checks&Monitoring

DWH Logistic UtilitiesBusinessCatalogue

TechnicalAuditing

MetadataUtilities

Lifecycle Management Concept

DWH System Monitoring Utilities

DWH Security Utilities

DWH Backup / Recovery Concept

Concept Framework

InDatabase Data MiningRInDatabase

noSQL

Big Data Solution

Big Data Appliance

Exadata

Exalytics

Hadoop

Oracle Produkt-KomponentenData Warehouse / BigData

OLAP (18)

Advanced Analytics (18)

Diagnostic+Tuning (8)

BigData Connectors (1,5)

NoSQL EE (8)

InMemory DB Cache(18) AD Comp (9)

Label Sec (9)

Oracle EE (37)

Partitioning (18)

RAC (8) Spatial (13)

BigData Appliance (400K)

Exadata /DBM (ab 350K) Business Intelligence

Data Integration

Oracle Produkt-KomponentenData Warehouse / BigData

OLAP

Advanced Analytics

Diagnostic+Tuning

BigData Connectors

NoSQL EE

InMemory DB Cache AD Comp

Label Sec

Oracle EE

Partitioning

RAC (8) Spatial

BigData Appliance

Exadata /DBM Business Intelligence

Data Integration

Oracle Produkt-KomponentenData Warehouse / BigData

Advanced Analytics

BigData Connectors

NoSQL EE

BigData Appliance

Oracle R Enterprise

Oracle Data Mining

Oracle Loader for Hadoop

Oracle Direct Connector for HDFS

Oracle R for Hadoop Connector