oracle大数据解决方案和案例介绍 · author: quliu keywords: oracle corporate tagline...

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Oracle大数据解决方案和案例介绍


议程

1

2

Oracle大数据解决方案

Oracle大数据相关案例

2


大数据的定义及其核心意义大数据带来的价值才是其核心意义的真正体现

大数据是大量的，高速增长的，多样性的信息资产，它需要以高效，创新的信息处理形式，以促成实现更强的洞察力和决策力。

--Gartner IT 术语

企业级大数据通常包括以下类型的数据： •传统企业数据 — 包括 CRM 系统中的客户信息、ERP系统中的事务性数据、网店交易数据、总账数据。

•机器生成的数据/传感器数据 — 包括呼叫详情记录 (CDR)、Web 日志、智能仪表、制造业传感器、设备日志（常称为数字化输出信息）、交易系统数据。

•社交数据 — 包括客户反馈、微博网站、社交媒体平台数据

--白皮书《Oracle：企业大数据》

社交网络：每分钟分享50万条内容。保险：每天 100 万次映像上传索赔分析

公用事业：1000 万个仪表每小时上传

医疗卫生：每天 2000 万次监视

电子商务：每天1亿次交易，10亿访问者电信行业：每天上网日志百T以上 VOLUME

VARIETY

SOCIAL

BLOG

SMART

METER

VELOCITY


媒体/娱乐观众/广告效果交叉销售

通信

基于位置的广告

教育与科研

实验传感器分析

零售/快速消费品舆情分析热卖产品优化的营销

医疗卫生

患者传感器、监规、EHR 医护质量

生命科学临床试验基因组

高科技/工业制造

制造质量保修分析

石油与天然气钻探传感器分析

金融服务

风险和投资组合分析新产品

汽车

报告位置和问题的汽车传感器

游戏

适应玩家行为

游戏植入广告

执法和国防

威胁分析 — 社交媒体监规、照片分析

旅游与运输

用于实现最佳交通流量的传感器分析

客户意见

公用事业

分析网络容量的智能量表

大数据在各行各业的应用示例

联机服务/ 社交媒体人职匹配 Web 站点优化


新数据

大数据的处理技术现代企业需要不同的技术来处理不同类型的数据

运行业务支持关键性OLTP/OLAP任务

操作简单，企业级特性，传统应用

举例：支付交易，订单信息，客户信息数据仓库等

关系型数据库 Hadoop

改变业务

分布式存储和处理批量非结构化数据

非实时，离线计算

举例：影像，日志文件，社交网络数据，

NoSQL

扩展业务

随机快速读写数据，灵活扩展

类型多样，可预测的延迟

举例：实时传感器数据，实时通讯，点击流

大量快速多样性

价值

成本


报告和KPI展现

统一的数据资源池

企业级整体大数据解决方案需要的能力不仅仅是技术，更要考虑企业级应用架构需求

• 开发和集成 • 部署和维护 • 企业级特性 • 总体拥有成本

数据源获取组织分析决策行动

Oracle Database

Oracle Industry Models

Oracle Advanced Analytics

Oracle Spatial & Graph

分布式大数据平台

Hadoop

NoSQL DB

R

关系型数据库

内存计算

数据挖掘

地理和图形

关系型数据库/数据仓库

大数据连接

流数据事件处理

数据探索和发现

统一SQL访问

大数据应用

管控灾备安全管理应用

大数据收集

应用数据集成

数据集市

数据共享


大数据

流获取组织分析决策

Oracle主张的企业级大数据之道

业务数据

高价值结果

已有技能和工具

有效利用多种技术，从新兴大数据中提取高价值数据，与企业业务数据融合，在现有数据架构上延展以提供实时高可用的业务洞察和数据服务


Hadoop/NoSQL等开源技术需要遵从企业IT的合觃、审计和安全要求，这方面的能力是开源技术还不完备的

Hadoop/NoSQL架构需要与企业现有数据架构相融合，避免形成另一个“烟囱”架构

增加大数据到现有架构是非常复杂的，大型Hadoop/NoSQL集群的建设、管理维护的难度和复杂性很高

11 Oracle Confidential

Hadoop/NoSQL等开源技术开发困难，IT人员需要与传统数据库不一样的技能和经验积累，这是目前很多企业IT还不具备的

安全开发

融合集成

企业采用新技术的挑战与风险


Hadoop/NoSQL等开源技术需要遵从企业IT的合觃、审计和安全要求，这方面的能力是开源技术还不完备的

Hadoop/NoSQL架构需要与企业现有数据架构相融合，避免形成另一个“烟囱”架构

增加大数据到现有架构是非常复杂的，大型Hadoop/NoSQL集群的建设、管理维护的难度和复杂性很高

Hadoop/NoSQL等开源技术开发困难，IT人员需要与传统数据库不一样的技能和经验积累，这是目前很多企业IT还不具备的

安全开发

融合集成

Oracle的企业级大数据战略

统一SQL访问所有数据开发效率高，

重用应用、技能和经验

SQL

开发融合结构化和非结构化数据统一安全管控

一体机软硬集成开箱即用

简化架构和管理


企业级大数据发展趋势：全数据管理不仅仅是新兴大数据，而是结合企业全数据发现价值

13

数据仓库数据工厂贮藏池

大数据管理系统

数据发现实验室

企业业务数据 ERP/CRM

其他数据源

数据流

数据集成

社交网络日志

执行

创新

分析工具

应用快数据


Exadata 企业应用/数据仓库


Big Data Appliance 分布式大数据平台

新型数据业务数据

15TB / hour 10x Faster

获取

组织

分析

决策 Oracle解决方案支持构建企业全数据池

助力企业级数据获取和组织，集成和管理

Oracle Big Data Connectors

商业化Hadoop

Oracle R

Oracle NoSQL DB

Oracle数据库

内存选项/多租户

高级分析

地理和图形选件

Oracle Big Data SQL


Oracle大数据一体机BDA X5-2

Oracle NoSQL DB

ODI* BDC*

Enterp

rise Man

ager*

Ora

cle A

ud

it Vau

lt an

d D

ata

base

Firew

all

for H

ad

oo

p A

ud

iting

*

Oracle Linux / JDK

Sun Server / Infiniband C

lou

dera M

anager

Ora

cle e

nte

rprise

R d

istribu

tion

• 18 Sun PC服务器，每台2C*18核 E5 2699 V3，总648核，每台128GB内存，总2304GB内存，每台12块 4TB SAS盘，总864TB存储容量

• 内置40Gb InfiniBand交换机和用于管理的万兆交换机

•软硬一体化集成设计，觃避开源自建高风险 •Hadoop资源配置的最佳实践 •快速上线部署，缩短项目周期 •全线商业支持，包括开源软件 •与Oracle数据库极佳融合 •企业级的安全管控 •方便的水平扩展，适应长远发展 •绿色环保，高密度存储，占地面积小

获取

组织

分析

决策

Oracle Big data

SQL


BDA一体化的丏业管理和运维 Oracle Enterprise 与 Cloudera Manager深度集成

自劢部署和Hadoop准备检查部署和配置HDFS， MapReduce，Flume，Hbase，Hue，Oozie 和 Zookeeper Services 配置高可用性和联邦，多集群管理审计跟踪，智能日志管理工作流（如增加主机，重启服务等），配置版本和历叱监控HDFS，MapReduce，MapReduce2，HBase，Hue，Flume，Hive，Hue，Oozie和Zookeeper 针对HDFS和Hive的备份/灾难恢复主劢的健康状况检查，状态和健康状况总结热图（Heatmaps）/性能监控 LDAP授权，Kerberos配置，运维报告，事件管理和预警，活劢监控支持集成和定期诊断，滚劢更新

获取

组织

分析

决策


企业级大数据发展趋势：访问统一通过大家熟悉的SQL访问和处理所有数据

18

关系型数据库 Hadoop NoSQL

Hive

Tez/Stinger

Impala

Shark/Spark

Drill

Hawq

跨不同数据源的统一，丰富的SQL

Phoenix（SQL on NoSQL）

财务/交易文档/社交网络传感器采集/日志

SQL On Hadoop


NoSQL DB

根据客户和流水记录等信息，了解客户电商行为模式，位置和客户关注点及对品牌的体验和情感。在客户电话咨询时进行产品推荐或客户关怀。

Hadoop

HDFS2

YARN

Batch (MapReduce)

Other (Search)

(In-Mem)

Big data SQL Plug In

社交网络数据

电商访问日志客户行为记录

Oracle Big Data SQL支持统一访问全数据

Oracle 数据库

常旅客

订单

客服

值机

客户360度画像C

获取

组织

分析

决策

•利用数据库安全，实现数据治理

•性能优化：并行，存储索引，本地数据过滤，最小化数据移动

•丰富的SQL支持，利用现有技能

•同时查询大数据和关系型数据

文档

Select S.客户关注热点，S.情感，S.感受，V.位置，V.访问行为，C.基本信息，C.偏好，From 客户表C，记录V，社交网络表S where C.常旅客ID=V.电商ID and C.sid = S.ID and V.时段=“时间”;

Oracle Big Data SQL

Oracle Big Data SQL的力量 - 广泛的各种“大数据”类型

结构化数据 Numeric, string, date, …

非结构化数据 LOBs, Text, XML, JSON, Spatial,

Graph, Multimedia - 丰富的 SQL 分析函数

Ranking, Windowing, LAG/LEAD, Aggregate, Pattern Matching, Cross Tabs, Statistical, Linear Regression, Correlations, Hypothesis Testing, Distribution Fitting, …

- 快速应用Oracle高级分析包


企业级大数据发展趋势：分析深入充分利用机器超强的处理能力进行挖掘和新的分析

20

情感分析

自然语言处理/文本分析

地理位置分析

挖掘算法

机器学习

预测


Oracle Database

Oracle高级分析支持全数据的挖掘分析

NoSQL DB+Hadoop

数据挖掘 R企业版

图形化界面，内置多种算法，易于使用

可编程的，灵活，提供企业级特性

Oracle高级分析

获取

组织

分析

决策

可扩展的并行数据库内执行库内数据直接装载全线商业化支持

集成商务智能展现工具

合理的成本投入获得最佳业务受益

节省

传统分析解决方案

数小时、数天或数周

数据提取

数据准备和

转换

数据挖掘

模型构建

数据挖掘

模型“计分”

数据准备

以及转换

数据导入

模型“计分”

嵌入式数据准备

数据准备

模型构建

Oracle 数据挖掘/R企业版

数秒、数分钟或数小时

Oracle Big Data SQL / BDC


企业级大数据发展趋势：展现灵活不需要进行建模即可以交互式访问和探索

22

发现浏览转化探索共享

上传数据，对数据集摘要进行概要查看对数据集各个字段分布进行浏览

支持基于web方式对数据集的字段进行处理和转化建立项目，对数据集从不同角度探索和发现


答：新的打包产品推出后带来的收入没有达到预期

答：不同年龄会员的销售组成

结构化数据

Oracle大数据发现支持统一展现和洞察

答：有关营销活动代言人的负面情绪

答：用户感兴趣的促销手段

答：用户喜欢的推荐时机

“……相比返券服务，我更希望能够享受到满

减的服务……”

“…… 饭前排队时很无聊，

可以尝试一下游戏……”

“…… John Doe 晒出他在xx

竞争对手享受的服务……”

非结构化数据

获取

组织

分析

决策

从订单到用户的情感/反馈，快速发现问题关键，及时应对

传统统计图形和报表

文本热点分析

情感维系

感知浏览转化发现共享

•对新型大数据快速感知，浏览，转换，发现和共享

•结合业务数据和新数据

•结合商务智能模型和新数据透视

•交互式探索发现，深入洞察新问题

•文本挖掘和情感分析

为什么新的打包产品销售没有达到预期？

BDD/Endeca


报告和KPI展现


企业级整体大数据解决方案需要的能力不仅仅是技术，更要考虑企业级应用架构需求

• 开发和集成 • 部署和维护 • 企业级特性 • 总体拥有成本


Oracle Database




分布式大数据平台

Hadoop

NoSQL DB

R

关系型数据库

内存计算

数据挖掘

地理和图形

关系型数据库/DW

大数据连接

流数据事件处理

数据探索和发现

统一SQL访问

大数据应用

管控灾备安全管理应用

大数据收集

数据集成

数据集市

数据共享



Oracle提供软硬件一体化的大数据整体解决方案端到端的解决方案加快上市时间和降低风险

• 单项最佳和集成化 • 加速上线获得回报 • 简化架构和管理 • 单一客户服务支持


Oracle Database




大数据一体机

Hadoop商业版

NoSQL DB

R企业版

关系型数据库

内存选项/多租户

高级分析

地理和图形选件

Exadata

BDC

OD

I / OG

G

BDD / Endeca

BIG DATA SQL

ADG/OGG（灾备）SECURITY（安全）OEM（管理）EDQ（数据质量）

Exalytics

BIEE

流数据 OEP/Coherence 大数据应用


议程

1

2



26


Oracle大数据成功案例概览为企业创造价值

金融制造电信

金融创新，客户实时精准推荐

传感器数据实时收集，加速测试周期

提供基于位置数据的新服务，欺诈检测

零售

目标客户定位，更好地预测产品成功

服务

BDA/Exadata/OAA BDA/NoSQL DB BDA/BDC/RTD

洞察客户，灵活定价，产业链整合

3 BDA

数据仓库扩展，全数据管理，支持决策

3 BDA BDA/Exadata/Exalytics OAA/BDC/ODI/OGG

OBIEE/OEP/Endeca/RTD

构建企业数据资源池，支持业务转型

客户360度视图，提升汽车质量

BDA/BDC/Endeca

Exadata/OAA/OEP

为客户更快提供全面精准的用户分析

BDA/Exadata OAA/BDC

BDA/NoSQL DB Endeca

实时，统一访问业务和决策系统数据


议程

1

2



国内某大型商业银行大数据案例

28


大数据成功案例—国内某大型商业银行金融创新，如何更好地基于客户行为进行推荐

银行客户需求

• 有效利用等待时间

•更好地使用资金来获

得最大收益

•从银行获得更好的服

务

银行业务需求

• 更好了解客户

•为客户推荐最合适的金

融产品

•提升服务质量

•提升客户体验

解决方案

• 1 x Oracle Big Data 1/3 Rack • Big Data Connectors

• Cloudera distribution

• SOA

• RTD

• Oracle Database


根据当前客户信息、网点信息和客户偏好实时决策，提供最合适的基金产品/银行卡业务

实时发送推荐短信

基于批处理了解推荐被接受/拒绝和并随后调整和优化推荐模型

通知网点值班经理

返回纸质推荐信息

排队机

业务办理

1

2

3

4

5

排队信息实时传输

Oracle大数据整体解决方案

基于排队机的实时精准营销 —— 业务流程


开始

客户在排号机刷卡

基于排队机的实时精准营销 —— 数据流

并行预处理所有银行的历史数据

实时捕捉客户信息

总行每天通过文件下发增量数据（T+1）

HadoopCluster

更好地处理客户数据，构建客户属性信息

Oracle RAC/Exadata

根据业务规则分类和给客户打标签

Oracle Data Mining

实时匹配客户数据和适合推荐的金融产品

Real Time Decision

金融产品信息发送到客户（等候单上或者短信）或

者给银行大堂经理

大数据平台

ESB

Big Data Connector

1. 业务方面处理推荐的反馈;

2. 自学习，自优化引擎

详细数据存储在NoSQL中，提供查询

所有历史数据

Oracle NoSQL

Online Banking

Mobile Banking

…


HDFS NoSQL

2台 X86 Server 服务总线

实时

Exadata

Cloudera Distributed Hadoop

Big Data Connector

Advanced Analytics 批量

Oracle Service Bus Real Time Decisions

Oracle Database 11g

Big Data Appliance

Sequoia Database

2台 X86 Server (实时决策) 产品推荐

营销事件

客户资料营销活劢

营销反馈

产品推荐/营销结果回馈

结果回馈

客户信息

核心数据数据挖掘客户画像分析预测

基于排队机的实时精准营销 —— 物理部署架构

Web

Mobile

存/取款

信用卡

理财

排队机


后台系统

大数据平台数据分布规图

实时事件处理

数据集成

抽取

清洗

转换

加载

搜集

管理元数据数据质量管理任务调度与管理信息安全信息生命周期

基础设施（服务器、存储、网络）

基础数据（Hadoop）数据仓库（RDBMS）

算法点击流刷卡流事件触发觃则营销觃则决策模型

客户基本资料客户标签社交网络图谱

数据源

排队机

理财

网站

手机

存/取款

信用卡

存款

实时决策引擎

取款

转账信用卡

代收代付

个人理财

基金贵金属

…

产品客户分群

历叱营销活劢订购关系

短信网关

营销管理绩效分析

排队机

MIS办公


•Oracle大数据整体解决方案

从数据获取、组织、分析到决策，Oracle提高端到端的解决方案；

单一厂商供应，原厂支持；

•打通所有的数据链路，加速数据流转速度，统一SQL访问，避免数据孤岛；

•快速上线、部署简单、管理方便；

•开放的X86平台，主流的Hadoop路线

Why Oracle


Oracle拥有全覆盖的大数据技术

48

Oracle BI Foundation Suite Real Time Decisions

Exalytics

主流

大数据技术

Hadoop

/Spark

大数据可

视化

新一代

数据库

流数据处

理

数据探索

与挖掘

NoSQL

技术

数据采集

技术

Exadata / In memory Option

Oracle Stream Explorer(CEP) / Spark Streaming

Oracle Advanced Analytics Big Data Discovery

Spatial & Graph for BigData R/Data Mining/Spark ML

Oracle NoSQL / HBase

ODI / OGG for Bigdata Flume / Kafka

Oracle Big Data Appliance Big Data Connector / Big Data SQL


Sources

业务系统

渠道

CRM

ERP

社交互联网

主数据数据探索实验室

数据挖掘机器学习

数据探索数据发现

Oracle推荐的大数据通用架构

数据仓库

访问与汇总层

星型模型，立方体，衍生数据，汇总数据，分析结果

数据

基础层

集成化的主题模型与数

据

商业智能 / 数据可视化

信息模型

业务导向模型，通过数据映射成为报表和分析结

果

报表仪表盘

即席分析与查询

BI 服务

数据整合与数据质量消息队列批量抽取数据转换数据质量实时整合任务调度

元数据管理模型数据追溯业务数据字典

数据传输数据访问整合点元数据定义

规则

数据湖

数据水库

数据从源端抽取，基本不做转换，保持与源端相同存储格式，包含历叱数

据

ODS

与源系统保持近实时数据同步，一体

化模型

实时

批量数据流

流处理 /

事件处理

数据采集数据存储数据发现数据可视化决策支持数据流

OGG

ODI

Stream Explorer

Big Data Appliance (Hadoop)

Oracle Database (Exadata)

Oracle BIEE/DV (Exalytics)

RTD

BDD/AA

BDC

BDC

MDM

ODI

ORAAH

Big Data SQL

ORE


Q & A

oracle大数据解决方案和案例介绍 · author: quliu keywords: oracle corporate tagline...

Documents