客户行为驱动的“快数据” - oracle...mr. robin smith 分析服务帮助我们使用他...

1 Copyright © 2012, Oracle and/or its affiliates. All rights

reserved.

大数据新知

客户行为驱动的“快数据”


reserved.

大数据爆炸

互联网上的非结构化数据…

Infographic by Go-gulf.com

http://www.go-gulf.com/blog/60-seconds




reserved.

什么是大数据？具有4V特性的数据称为大数据

• 巨大的数据量 Volume

• 集中储存/集中计算已经无法处理巨大的数据量

VOLUME

VELOCITY

VARIETY

SOCIAL

BLOG

SMART

METER

VALUE

10110010100100100

11010101010111001

01010100100101

3亿+用户，高峰期一天上亿条微博

中型城市每月数十亿智能电表数据

2015年全球移动终端产生的数据量6300PB

• 多结构化数据 Variety

• 文本/图片/视频/文档等

• 增长速度很快 Velocity

• 海量数据的及时有效分析

• 用户基数庞大/设备数量众多/实时海量/数据指数级别增长

• 价值密度低Value

• 单条数据并无太多价值，但庞大的数据量蕴含巨大财富


reserved.

传统DW难以处理大数据

• 大数据的4V特点： Volume, Variety, Velocity, Value

• 传统DW系统不适用于大数据的分析 • 数据量过于庞大

• 绝大部分大数据是垃圾

• 大数据的多样化格式

• 需要革新性的技术手段 • 海量数据“分而治之”：批量分布式并行计算Hadoop + NoSQL存储

• 海量数据“实时精选”：实时分布式高吞吐高并发数据处理，或者说“事件处理”

• 海量数据“去芜存菁”：大数据的分析成果超高速装载进结构化数据库

• 海量数据“跨界挖掘”：同时挖掘DW数据和大数据


reserved.

看看淘宝

– 海量数据存储需求

商品库、评价库、交易库、用户库、店铺库…以商品库为例：14亿/8亿(下线/在线)商品，QPS/TPS：78K/2.7K(峰值)， Read/Write IOPS：46K/7K(峰值)

数

据

规

模

事务与数据一致性

万亿记录(十PB)

千亿记录(百TB)

千万记录(百GB) 最终一致单行事务跨行跨表事务

Oracle RAC

Cassandra

HBase

Percolator

Taobao OceanBase Dynamo

Bigtable


reserved.

看看淘宝

• 实时客户需求预测 : 买家收藏夹数据

– 买家收藏的宝贝：收藏信息表，65亿条记录；宝贝信息表，4亿条记录；

– 每个买家可有千条收藏，按宝贝属性(如价格)排序展示买家的收藏

– 热门宝贝可能被十几万人收藏，而宝贝的价格、收藏人气等属性随时变化

– 挑战1：每天1.2亿次访问，响应时间<100ms

– 挑战2：随时更新宝贝人气和价格，直接影响商家销量

– 挑战3：及时根据客户行为推荐热门宝贝


reserved.

1. 数据经过NoSQL DB -> DW ->BI的传统路径才得到分析和决策结果

"With the paths that go through Hadoop [at

Yahoo!], the latency is about fifteen

minutes it will never be true real-time. " *

Raymie Stata, Yahoo! CTO (June 2011)

2. 大数据就是Hadoop+NoSQL, 低成本地方式存储海量的非结构化数据？？

海量数据的作用–实时、精准的分析和决策

*: http://www.theregister.co.uk/2011/06/30/yahoo_hadoop_and_realtime/

minutes

Filter out,

correlate

http://www.theregister.co.uk/2011/06/30/yahoo_hadoop_and_realtime/


reserved.

… 对企业而言更加明确

… but enterprises are also facing it now

Source: http://www.oracle.com/us/corporate/press/1704764

Utilities deploying smart meters?

200x information flowing to data center!

http://www.oracle.com/us/corporate/press/1704764


reserved.

Fast Data：快才是大数据应用的关键 Getting Ahead of the Curve

Big Data

minutes ms

Fast Data

His

torica

l d

ep

th: d

ee

p

His

torica

l d

ep

th:

sh

allo

w

Example: analysis of traffic patterns and congestion times for urban planning

Example: monitoring of traffic cameras to ensure given license plates are not in use on multiple vehicles Add “depth” to your fast data by merging

output of MapReduce to stream processing


reserved.

Social Social

专家系统

决策引擎

事件处理

1

0

10010 10010

2011年12月 Mr. Robin Smith

分析服务帮助我们使用他过往的作为银行客户的信息构建客户资料

1

010011 010011

实时动态针对性的营销活动


Robin Smith 先生是一位银

行客户，我们的运营系统里面拥有他的个人信息


reserved.

Social Social

专家系统

决策引擎

事件处理

1

2

10010


系统相应地增加了Smith先生的相关信息


Robin Smith先生加入了Oracle俱

乐部，填写了所有的有关于他的附加信息：社交平台ID，博客等，

同时他还签署了俱乐部的法律协议。


reserved.

Social Social

专家系统

决策引擎

事件处理

1

5

ABCD

ABCD

2012年1月

2012年1月银行制定了一个购物营销活动：

• 促销或产品目录（餐厅等）

• 客户分群（年龄，金融利率等）

• 由事件出发活动.

2012年1月

所有的营销活动的数据通过线上引擎发布出去


reserved.

Social Social

专家系统

个性化引擎

事件处理

1

6

2012年2月

一个候选事件（检测到相关事件的模式）被推送到下一个环节

Cadi’s Toll Geoposition

2012年2月

事件处理引擎获得正确的配置从而为这次市场活动检测，过滤和聚集指定事件

Cadi’s Toll Geoposition


reserved.

Social Social

专家系统

决策引擎

事件处理

1

7

接下来

所有的候选事件被专家系统处理以便执行一个商业行动

Query Query

接下来

专家系统的决策引擎可以针对每一个事件采取最佳响应，要和产品，客户信息和时间进行匹配

8

Coupon


reserved.

Social Social

专家系统

决策引擎

事件处理

1

9

GeoLocated Payment

接下来

事件处理同时具备检测到在指定位置和餐厅信用卡付款行为的能力

接下来

专家系统能够从客户的行为中学习，并且增强模型和客户信息。

Modify Modify


reserved.

Social Social

专家系统

决策引擎

事件处理

1

10 Tweet

Event

接下来

社交媒体事件能够自动触发商业行动.


reserved.

Social Social

专家系统

决策引擎

事件处理

采集，整理，分析，决策

Hadoop / NoSQL ODS/DW Traditional BI

集成 Oracle Event Processing 数据传送给 Hadoop

Oracle Event Processing数据传送给 NoSQL Database

专家系统实时决策

可视化业务活动监控

事件处理和大数据基础设施

流事件处理 (Oracle Event Processing)


reserved.

基于OEP的大数据适用场景分析


reserved.

OEP用例 : Fast Data

1.客户体验和精准营销

2.交通运输, 物流及车队管理

3.公共设施: 需求和响应，智能电表

4.电信运营商: 实时计费和WiFi数据分流(WiFi offloading), 移动营销平台

5.公共部门: 应急响应, 舆情监控

6.实时风险管理 (交易性金融服务, 数字化油田, 制造业)


reserved.

COMPANY OVERVIEW

• Turkcell Technology has more than 15 years of development

experience with its solutions applied and proven at leading

operators in more than 10 countries

•Specialized for over 10 years in BI in the Telecommunications

industry, designing, building and running one of the largest data

warehouses in telecom industry with a proven record of

success in BI operations

• Early and leading Industry adopter of new real time BI trends,

taking advantage of Event Driven Architectures, Event Pattern

Analysis in a Spatial and contextual data context

CHALLENGES/OPPORTUNITIES

• Requirement to improveTurkcell’s ability to capture real-time

events in its GSM network

• Demands for Turkcell to give its subscribers a new service

that provides a dynamic, wide and targeted range of offers

• Increase service clients revenue generation by adding new

marketing capabilities to their portfolio

项目目标

•为其用户提供基于当前用户位置信息的移动营销平台。目标是在恰当的时间和恰当的地点为用户提供建议信息，投放广告和发送相关告警信息。

实施效果

• 新的解决方案的实施效果超过了预期：每秒钟能够处理超过800,000个用户请求（事件）以及每天15亿个事件。

• 支持并行执行超过50个活动。

• 能够做到及时地响应客户需要：在不到1秒的时间内响应客户。拥有一个可扩展的架构，确保可以随需扩展。

F

ast

Data

客户体验基于用户地理位置信息的移动营销平台

Volume

投放广告

为用户提供帮助信息

OEP为您提供持续的智能平台

为用户提供相关建议

版权所有 © 2012，Oracle 和/或其分支机构。保留所有权利。从幻灯片 12 中插入信息保护政策分类 21

基于排队机的实时精准营销简介

用户刷卡，获取客户信息

根据当前客户信息、网点信息和客户偏好实时决策，提供最合适的基

金产品/银行卡业务

大数据平台

实时发送推荐信息

基于批处理了解推荐被接受/拒绝和并随后调整和优化推荐模型

通知网点客户经理

返回推荐信息

排队机

业务办理


自学习用户反馈，形成营销闭环

捕捉排队机刷卡行为

根据客户信息导出最合适的下一笔

推荐

通过手机短信向客户做

推荐

定位并识别顾客

确定下一个最合适的推荐

多渠道推荐

记录客户对于推荐的接受程度

推荐跟踪

自学习以提高推荐的准

确度

反馈学习


大数据平台

排队机

ODS

营销管理

绩效分析营销活动成交记录

排队信息/Socket

资金交易流水/FTP

产品推荐/Socket 服务总线

（交换、路由、转发）

实时决策引擎

客户标签

Hadoop RDBMS

产品推荐

客户

资料

营销反馈

排队机交叉销售总体架构

产品推荐/Http

上下文信息

卡号

交易明细查询资金交易明细

SequoiaDB

可使用OFM产品OSB或者SOA suite

可使用OFM产品OEP+Coherence

但此case最终用了Tech的产品RTD


逻辑架构后台系统数据源

服务总线（交换、路由、转发）

营销管理

营销规则

排队机

理财

Socket Http

存/取款

RDBMS

实时处理

Hadoop

信用卡

ETL/FTP

资金交易流水

产品推荐

批量处理 MapReduce

Hive

实时决策引擎

自学习决策规则

模型算法

…

HDFS

交易明细查询

营销结果

SequoiaDB

清洗

过滤

转换

统计

营销绩效分析

数据挖掘

机器学习

客户标签

客户分群

资金交易明细


reserved.

数据大小

Turkcell

土耳其领先的GSM通信公司

欧洲第二大

用户数大致为3千5百万

每天15亿条事件

非常庞大的数据量：在斋月盛宴 Turkcell 公司打

破了欧洲的短信记录

在斋月的头天有3亿条短信

平均每秒3500条短信

峰值时段每秒钟有16000条短信

4台DL460g6 Rack 服务器，每台服务器包括:

2 个E5640 CPU

96 GB 内存

运行一个OEP应用的实例

JVM ( Jrockit R28 )

Oracle Enterprise Linux 5 操作系统

存储部分Coherence数据


reserved.

公司概览

•日本最大的电信运营商（6千万用户）。很多年前便在众多关键任务系统上使用了Oracle的数据库

•拥有23,671 名员工

挑战和机遇

•由于智能手机市场在日本的移动市场中增长十分迅速，NTT希望能提供除包月服务之外更多的数据计费方式

•4G网络服务的引入带来新的需求（例如：在达到上限时从4G到3G网络的降级服务）

•灵活和精确的实时计费的需求的增加

•电信行业硬件厂商（Cisco， Grapevine 等）提供的软件计费解决方案价格高昂且不是很灵活

项目目标

•准实时地将数据使用量和分配的IP地址、用户帐户关联起来

•从Cisco Deep-Packet Inspection（DPI）设备中获取数据，然后将结果插入至Big Data Warehouse（Hadoop）

•支持当前的1千万智能手机用户（800,000 records/秒）并且能够支持扩展到6千万用户

实施效果

• 从2011年11月开始能够支持所有的当前的1千万智能手机用户

• OEP作为智能手机使用量增长的承诺

• 在NTT DoCoMo中找到了很多其他的OEP项目机会。

Fast

Data

NTT DoCoMo 实现实时灵活的数据计费

Variety

Oracle Event Processing

Oracle Coherence

高吞吐量

预处理

数据访问性能

高可用


reserved.

客户概览

遵循一个简单的经营理念：为更好的国际社区创造优质的产品和服务而贡献自己的力量和天赋。

他们的成果就是他们所有的产品----从存储信息的内存芯片到连接人与人的手机----都有丰富人们日常生活的能力。这就是他们想要创建更好得国际社区的理念。

挑战和机遇

• 在全球范围内，商用建筑是高耗能建筑，一些新的技术用于监控和控制这些建筑能源的使用从而客观地节约能源使用正受到高度地关注 • 一个名叫C&T的建筑公司希望采用此解决方案应用到他们负责管理的一些商用建筑上。

项目目标

• 使用OEP来构建楼宇能源管理系统的原形 • 明白理解OEP是如何实时地处理楼宇里面传感器发过来的各种事件。 • 找到将OEP用于楼宇能源管理系统的最佳方式 • 集成Oracle 大数据解决方案

F

ast

Data

实施效果

• 在3个星期之内使用OEP，Oracle BDA，Coherence，Business Activity Monitoring和为实时温度监控服务的双向Oracle Sensor搭建了楼宇能源管理系统原型

• 在一个CxO客户会议上成功展示（2012年8月）

客户体验 (领先的家用电器生产厂商) 楼宇能源管理系统

Variety


reserved.

客户概览

• 苹果电脑，Mac操作系统和iLife系列产品使苹果始终领导行业的创新

•苹果的iPod系列便携式数字音乐播放器和iTunes在线商店苹果率先领导了数字音乐的革命，并携带其革命性的iPhone进入手机市场。

挑战和机遇

•增加iTunes的基础设施，提供更好的客户交互的监控和设备的可行性提醒

项目目标

• 可以让苹果的商业用户从iTunes应用程序，硬件/ OS基础设施发生的重要事件发出实时警报

• 用户可动态地注入各种KPI指标相关的查询，从而实现主动营销和分析。

• 支持高可用的需求以确保当不可预见的中断发生时传出的告警事件不会丢失

Fast

Data

实施效果

• 已可支持12000台应用服务器，每分钟500,000条事件并可扩展至支持每分钟2,000,000条事件

• 已成功地构建在已有的Coherence产品实施成果之上：200个JVM存有数以百万的STAT对象（每分钟有700,000个对象进入缓存）

• 已在生产系统部署使用的时间〉 5个月

客户体验在线商品零售

Variety


reserved.

公司概览

• 经营货物运输行业，使用产品和服务确保经营管理和物流

• 拥有超过190,000辆运输车，和超过370位销售代表。除去在智利和阿根廷的业务，在巴西27个州拥有750个服务中心。

挑战和机遇

• 公司被私募股权基金会收购，并且制定了相应的增长战略。

• 目前所使用的技术阻碍了其业务增长

• 需要新的IT平台（可扩展的，高性能的，可靠的）来支撑业务增长的需要

项目目标

• 汽车远程信息处理。他们需要管理自己的车辆，行使路线，速度，到达时间等。

F

ast

Data

实施成果

• 使用 Exalogic 来运行所有的 WebLogic Server 的Java应用，以及SOA套件（OEP，ESB，BPEL）

• 使用Exadata来运行数据库

• 系统：多媒体服务器，交换机，磁带库

• 软件：WebLogic Server，EECS，SOA套件，WebCenter套件，数据库企业版，RAC， Partitioning, Advanced Compression, Spatial, ODI, BIEE, Secure Backup

• 第一个由OEP来驱动的Exalogic Deal

Sascar 车队管理汽车远程信息处理基础设施

Volume


reserved.

DHL Japan – demonstration at OOW Tokyo 2011

温度異常の予測監視

詳細情報の表示

インシデント時の温度の時系列遷移温度急上昇 (現在温度 – 10分平均温度 > 3℃)

温度の移動平均

Fast

Data

• 实时监控包裹的运输情况（GPS） • 对运输敏感的物品实施环境监控（温度、湿度等）并且当指定的关键条件触发时做出相应的动作

Volume


reserved.

公司概览

•南加利福尼亚天然气公司（5100000个天然气表，535座城市，美国最大的天然气公司）

•圣地亚哥天然气和电力公司 (在圣地亚哥区域有3400000个用户)

挑战和机遇

•对电力的需求和依赖越来越高 •新的微型电网和发电源 •电力传输和配电电网管理的复杂性 •标准/规范/通讯/意识 •监控/检测/响应/预防 •实时访问的需求 •配电和管理上与日俱增的成本 •IT技术较落后

Sempra Energy

项目目标 •安装智能电表终端和无线网络 •替换2百多万部现有的终端设备 (电表和改造气体模块)

•建立双向通信基础设施 •取代人工抄表模式 •以15分钟和以小时为单位间隔处理能源使用数据 •改善经营效率和提高业务需求响应能力

•使用需求响应计划（负载控制）减少峰值时能源的消耗

•收集负载数据用于分析和负荷曲线指标 •流动性劳动力（监控维修车辆）

项目结果

• System now live 24/7 系统以24/7运行

• 寻找使用OEP／SOA替换其他系统的机会

Fast

Data

Variety


reserved.

公司概览

•EnerNOC 帮助商业，机构和工业组织更智能地使用能源，少花钱，节约出的现金流有利于企业盈利

•EnerNOC的能源管理技术解决方案用于实时地维持能源供需平衡

•EnerNOC的世界级能源管理应用是公共事业，商业机构和行业客户的终极能源管理解决方案

业务挑战

• 支持大批量，实时流数据的应用程序平台的需要

• 在流数据中执行复杂实时的计算和决策处理的能力

• 提供可伸缩的并容易和遗留应用系统进行集成的应用框架

项目目标

• 从一个潜在的无限的商业事件源发生地（工厂，医院和学校）而来的能源流数据检测事件模式

• 基于动态事件模式检测已断开连接的设备和仪表来提升能源的使用效率

• 加强对用户不符合要求使用事件的检测能力和发生非法使用行为之后产生告警信息的能力

F

ast

Data

项目结果

•共包含6个项目已成功上线2年

EnerNOC 商业智能电网

Volume


reserved.

公司概览

• 意大利固话和无线通信服务的领导者，意大利移动通信的主要股东，在拉丁美洲和地中海区域经营固话和无线通信的意大利的领先供应商

• 年的收入为27,571 百万欧元，毛利润为11,412 百万欧元，净利润为3,121百万欧元，资本支出为 4,583 百万欧元

• 固话网络的物理访问约15.4百万次，TIM移动线路访问有3千1百万次

业务挑战

• 需要在来自许多不同的供应商的许多不同的应用中迅速查明整个企业级IT基础设施的性能问题

• 分析来自不同IT资源的事件流，提升业务可视化的能力和IT基础设施的灵活性

项目目标

•提供基于事件驱动的企业基础设施监控平台

•提供基于事件驱动的服务链监控平台

项目结果

•创建了新的灵活的多层架构解决方案

• 提供高吞吐量，高可配置性，异构系统的实时监控，易集成的能力

F

ast

Data

意大利电信完整的实时通讯基础架构可视性

Variety


reserved.

F

ast

Data

领先的网络设备供应商动态的WiFi分流

Variety

GW 3G 访问 AP

GW 4G/LTE AP

GW WiFi AP

核心网络

互联网

分流决策系统

网络配置与管理

用户信息

事件 & 控制流

位置服务器

• 近似“网络发现和选择（ANDSF）”架构

• 由设备位置和基站配置的事件驱动


reserved.

公司概览

• 摩托罗拉解决方案公司通过技术将人们连接在一起

• 摩托罗拉的解决方案同时服务于企业和政府客户，核心市场在公共安全政府机构和商业企业

• 全球65个国家拥有23,000名员工，在全球100多个国家和地区有销售

业务挑战

• 为大数据的视频源提供快速数据智能层

• 为政府机构和执法部门提供不同的实时视频源数据事件处理的模式

• 集中的Exalogic实施

项目目标

•全球采用可重复使用的可扩展的架构，支持多达2800多个摄像头

•实现面部识别和车牌监控功能的智能视频系统

• 车和驾驶员识别速度，后台实时对照驾驶员信息

• 收费公路实现可变计费机制

Fast

Data

项目结果

• 利用合作伙伴关系，在许多国家推行该项目

• 成功地完成了实时视频数据原型

• 未来智能城市平台解决方案的基础技术

Motorola 智能IPVS：公共安全 – 机动车流媒体视频图像和面部分析

Velocity

WARNING: Driver Criminal

Record

WARNING: Suspect License plate

– CABO . MEXICO CITY


reserved.

监控 SAM-FS

Servers

ACSLS

Servers

Tier 1

(ZFSSA)

Cache

(Axiom)

Tier 2..4

(Big tape)

Long Term Storage

实时事件分析

(OEP, ExaLogic)

云管理 VM 存储

视频处理

视频分析

历史数据分析

(Oracle NoSQL

Big Data 设备)

命令于控制，地理信息系统

(Moto Locator & Mapping)

公路收费和计费

(Oracle RDBMS,

Exadata)

运行视频处理，记录和分析的云

(OVM, ZFSSA, Sun Server 3X-2/2-8 / Blades)

系统管理

(OEM, OpsCentre)

摩托罗拉固网和移动网络

实现架构


reserved.

我们的摄像头正在监控: 演示

1/ GPS更新PSV位置信息存储在OEP中

2/ 摄像头将车牌号码数据传送给CEP

3/ 将摄像头捕获的事件上传到Oracle

NoSQL来对路面流量进行大数据分析

4/ OEP 整理车牌号码数据

• 定位重复的车牌号码

• 定位超速车辆

• 实现动态的公路收费和计费

5/ OEP的数据库识别出被通缉的车辆，定位到最近的警车并发送通知

6/ 摩托罗拉解决方案公司的指挥和控制软件来接收消息和调度警车


reserved.

Fast Data 应用机会：无处不在

每天有12+ TBs 的数据

2009年有7600万部智能电表，2014年将会有2亿部

全世界有46亿部带摄像功能的移动电话

每年有上亿部GPS设备被销售

全世界有3500 个石油钻井平台

每秒钟有250万笔交易

社交媒介

物流和运输

资本市场

石油和天然气

公共设施：水和电

移动通信

F

ast

Data

Variety


reserved.

城市平台改变了我们的生活方式

城市服务

城市经营

城市基础设施

公民权利

业务生产力

城市适宜居住

协作

和谐发展

现代化

社交网络

企业

传感器

客户行为驱动的“快数据” - oracle...mr. robin smith 分析服务帮助我们使用他...

Documents