how to use the powerpoint template · –cloudera商业化hadoop版本及选件 –cloudera manager...
TRANSCRIPT
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle数据库与大数据新技术
吕磊资深架构师甲骨文(中国)软件系统有限公司
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 3
大数据在企业
大数据是大量的,高速增长的,多样性的信息资产,它需要以高效,创新的信息处理形式,以促成实现更强的洞察力和决策力。
--Gartner IT 术语
企业级大数据通常是指以下类型的数据:
•传统企业数据— 包括 CRM 系统中的客户信息、ERP系统中的事务性数据、网店交易数据、总账数据。•机器生成的数据/传感器数据— 包括呼叫详情记录 (CDR)、Web 日志、智能仪表、制造业传感器、
设备日志(常称为数字化输出信息)、交易系统数据。•社交数据— 包括客户反馈、微博网站、社交媒体平台数据
--白皮书《Oracle:企业大数据》
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 4Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
大数据分析帮助全球领先信息资讯提供商为客户创造更多价值
• 搭建了互联网资讯和社交媒体大数据分析平台
• 实时采集5万个新闻网站和400万社交媒体渠道的资讯
• 汇总路透社新闻和其他专业新闻,进行自然语义处理
• 结合数据仓库和结构化数据,通过基于行为金融学模型多维度的度量标准
• 全面评估分析市场情绪,形成可操作的分析结论
• 支持其专业金融机构客户的交易、投资和风险管理
• 基于全数据管理架构/统一数据访问/统一安全管控和集成化系统构建
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle BDA
某国际大型飞机制造商
大规模传感器数据捕获和分析
客户挑战
解决方案
客户收益
•有效处理新数据,提高数据存储加载的可扩展性,满足试验业务实时数据分析需求
•与结构化数据集成,重复利用已有模型和工具,节省成本,加速上线,提供更高并发性的分析数据访问
•加强产品质量管理,降低产品上市风险
•Oracle NoSQL DB的分布式和扩展性保证实验传感器数据的低延迟并发存储
•Oracle Bigdata大数据一体机提供高效可管理性和最低的总体拥有成本
•在BDA上对NoSQL中的存储数据进行预处理,与已有关系型数据库中数据集成
•基于RDBMS的挖掘分析,并且连接到企业系统和已有展现工具
•提高飞行试验传感器数据的存储规模•利用已有基于关系型数据库的模型和工具•增加分析数据访问的并发性和可用性
加快创新改进运营精准营销提升服务
√
客户解决方案相关产品:BDA/NoSQL DB/DB
Oracle No SQL
Hadoop
Oracle Database
分析
访问
√
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 6Oracle Confidential – Internal/Restricted/Highly Restricted
企业大数据建设的不同之处
互联网公司
新数据为主开源软件
一切从头组装技术即价值
大量的人力堆积失败了推倒重来
企业级客户
传统业务数据为主,扩展到新数据商业化服务支持
更多精力在业务层面简化架构和集成简化管理和维护逐步积累和完善
数据以结构化为主
多年IT建设积累,量>80%
高密度,高价值
开发和维护人员相对有限
聚焦管理和高层次分析
安全和可用性要求
与已有系统(数据仓库/业务系统)的集成
拥抱新数据和新技术,创新但不是颠覆
考虑总体拥有成本和投资回报
企业级客户的特点
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
企业采用大数据面临的挑战
全数据管理
关注新数据,融合全数据,深入的洞察
力创造更大价值
Hadoop/NoSQL需要与现有数据架构
相融合,避免形成另一个“烟囱”架构
开发和分析
快速响应业务的需求,加快上线,支持
业务创新和提高竞争力
Hadoop/NoSQL等开源技术开发困难,
IT人员需要新的技能和经验积累
安全遵从
法律法规遵从的要求;避免数据泄漏,
防止负面事件响应企业形象,
Hadoop/NoSQL等开源技术需要遵从
企业IT的合规、审计和安全要求
管理和运维
更关注在端到端的业务流程和模型,IT
人员总量相对控制,不会大幅度扩张
大型Hadoop/NoSQL集群的建设、管
理维护的难度和复杂性很高
业务部门 IT部门
7
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
大数据满足企业业务战略的转变
全面数据驱动的企业商务智能
8
更全面的数据
更强的挖掘方法和处理能力
新的业务价值和决策支持
+ =
信息特征 传统数据分析 大数据分析
问题特点 已知的 + 未知的
时间性 历叱的、现实的 + 未来的,预测的
来源 主要内部 + 内外结合
综合性 具体、详细 + 综合、概括
范围 明确、狭窄 + 广泛探索
精确度 高要求 + 相关性
使用范围 领导 + 各条业务线
数量性 G/T + 百G/T/P
相关技术关系型数据库
BI工具+
RDB+Hadoop+NoSQL
数据挖掘和发现
相关数据 CRM/DMS/ERP + 社交网络/行业互联网
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
统一的数据资源池
Oracle大数据解决方案端到端的解决方案加快上市时间和降低风险
• 单项先进和集成化 • 加速上线获得回报• 简化架构和管理 • 单一客户服务支持
数据源 获取 组织 分析 决策 行动
Oracle Database
Oracle IndustryModels
Oracle Advanced Analytics
Oracle Spatial & Graph
大数据一体机
Hadoop商业版
NoSQL DB
Oracle R
关系型数据库
内存选项/多租户
高级分析
地理和图形选件
Exadata
Big Data Connectors
OD
I/O
GG
Oracle Big Data Discovery
BIG DATA SQL
ADG/OGG(灾备)SECURITY(安全)OEM(管理)EDQ(数据质量)
Exalytics
BIEE/DV
流数据Stream Explorer/
Coherence大数据应用
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle提供实时/批量大数据收集工具
Flume/KafkaHive on MR, Tez, Spark
Logs
OLTP DB
SQOOP
OGG
Pig on MR, Tez, Spark
ODI
SQOOP
Any DW
OGG
Spark
Oozie
OEDQ OEMM
Data Validation & Cleansing
Metadata Mgmt& Lineage
API/File
Hive/HCat,HDFS,HBase
Hive/HCat,HDFS,HBase
NoSQL
Flume/Kafka
Load to Oracle
Oracle DBBig Data SQL
批量数据收集(ODI)
• 下一代E-LT技术,装载速度比普通工具快10倍以上
• 支持超过200种不同的数据源和目标数据库,支持Hadoop平台
• 和其他工具相比总体拥有成本更低• 对Oracle数据库提供先进性能
实时数据同步(OGG)
• 更快的数据同步和复制工具• 无停机,保证事物可靠性• 支持多种数据源和目标• 灵活的1对1/1对多/多对1配置• 更小化影响数据源
HDFS (Files)
HBase (NoSQL)
Hive / Hive Streaming (SQL)
Flume & Storm (Streaming)
Kafka (MPP Pub/Sub)
Spark Streaming (Machine Learning)
Capture Database Transactions and Deliver to Big Data in Real-Time
Cap
ture
Tra
il
Ro
ute
De
live
r
Pu
mp
GoldenGateJMS JMS
10
Oracle DB
获取
组织
分析
决策
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
• 灵活的数据模型– 键值,Avro配置,RDF图,类Table
– 读取/插入/更新/删除
• 扩展性– 水平扩展、劢态的数据分区与分发
– 通过智能驱劢进行优化的数据访问
• 高可用性– 一个或者多个数据副本
– 快速的主节点切换,没有单点故障
– 通过不同地点的数据副本实现灾备
• 透明的负载均衡– 数据可以从主节点或者数据副本节点读取
• 适用性广泛– 可配置的事务支持,持久化和一致性策略
Oracle NoSQL 数据库分布式的、高可扩展性的键-值数据库
分片 0
复制节点(主)
复制节点(副本)
复制节点(副本)
分片 N
复制节点(主)
复制节点(副本)
复制节点(副本)
…
分区
哈希函数
键空间
SN1 SN2 SN3
获取
组织
分析
决策
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Hadoop的先进支撑平台
Big Data Appliance X6-2
StarterFull
Multi-Rack
•软硬一体化集成设计,规避开源自建高风险•全栈调优、先进实践、性能卓越•完整的非结构化数据存储/计算/分析/挖掘/管理的平台
•开箱即用,快速上线部署,缩短项目周期•全线商业支持,简化后期维护•与数据库生态系统极佳融合•企业级的安全管控•方便的水平扩展,适应长远发展•绿色环保,高密度存储,占地面积小
• 集成的软件:– Oracle Linux和Oracle Java VM– Cloudera商业化Hadoop版本及选件– Cloudera Manager– Oracle R distribution– Oracle NoSQL 数据库
• 硬件:– 18台Sun PC服务器,每台
• 2C*22核 E5 2699 V3,总792核• 8*32 =256GB内存,总4608GB内存• 12块 8TB SAS盘,总1728 TB存储容量
– 内置40Gb InfiniBand交换机– 用于管理的万兆交换机
– 初始化配置6节点,可按需扩展,– 到18个机架不需要外购网络设备
获取
组织
分析
决策
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
集成:强强联手,卓越性能,市场认可
13
简化融合
安全 集成
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Big Data SQL实现跨平台统一数据访问
• 统一查询数据:跨不同平台:Oracle数据库,Hadoop 和NoSQL DB
•保护现有投资:不需要任何修改就可以直接运行Oracle SQL查询
• 卓越性能:Hadoop和NoSQL上的智能扫描通过解析和智能地过滤各自节点数据,存储索引快速定位数据,这些都有助于大幅度提高性能
• 适用广泛:支持用户自建的系统和Oracle集成化设备;支持目前主流领先的Hadoop版本
• 安全管控:Oracle数据库安全特性扩展到新技术平台,控制对敏感数据的访问
• 功能丰富:提供从Oracle数据库复制数据到Hadoop的工具:Copy to Hadoop;以及通过Hadoop可以直接访问Oracle数据库中的数据的工具Oracle Table Access for Hadoop and Spark
{MapReduce} {APIs} SQL
Oracle Big Data SQL 3.0
获取
组织
分析
决策
Cloudera 5.5及更高Hortonworks 2.3及更高 Database 12C
BDA Exadata
X86集群(Linux OL6,RHEL6)
或
14
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle为企业提供丰富的大数据分析工具合理的成本投入获得更好业务受益
传统分析解决方案
数小时、数天或数周
数据提取
数据准备和转换
数据挖掘模型构建
数据挖掘模型“计分”
数据准备以及转换
数据导入
模型“计分”
嵌入式数据准备
数据准备
模型构建
Oracle 数据挖掘和探索
数秒、数分钟或数小时
基于机器学习的数据挖掘(OAA)
基于人员经验的数据探索(BDD)
利用数学算法,从数据特征和已有结果中推演数据模型和进行预测,提供图形化界面和企业级R语言支持,满足不同分析人员需求
•实现对于全数据的挖掘和探索
•利用服务器并行处理能力和内存计算能力,高性能
•直接访问Hadoop或者Oracle数据库中数据
•所见即所得•图形化,简单易用,快速实现
节省
共享探索转换浏览发现
获取
组织
分析
决策
16
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Big Data Discovery:Hadoop的可视化和探索工具
不需要进行建模即可以交互式访问和探索
17
发现 浏览 转化 探索 共享
上传数据,对数据集摘要进行概要查看 对数据集各个字段分布进行浏览
支持基于web方式对数据集的字段进行处理和转化 建立项目,对数据集从不同角度探索和发现
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle高级分析支持企业深度挖掘分析
满足不同角色需求,合理的成本投入带来数据收益更大化
客户特征分组 客户流失预测
客户价值分组
产品购买关联
客户购买预测
趋势预测分析
Oracle R Enterprise
• 十分流行的统计分析编程语言与环境,广泛的统计与高级分析函数
• 但开源有诸多不足,Oracle做了企业级优化
• 与Oracle数据库集成以获得扩展性,可直接访问Oracle数据库内数据,利用Oracle数据库服务器的并行处理能力
• 分析结果直接展示在BI工具• 可使用Hadoop数据和并行能力
Oracle Data Mining
• 完整的库内数据挖掘解决方案• 自动化数据库内的知识发现过程• 15个内置的核心数据挖掘算法• 全新的图形化界面和流程实现• 不需要编程,通过拖曳和配置即可利用数据挖掘,实现预测分析
• 可利用Oracle数据库和Exadata强大的处理能力
• 利用内存计算获得极速性能• 与OBIEE完美集成
R
获取
组织
分析
决策
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
OBIEE
Oracle Database Enterprise Edition
Oracle Advanced Analytics:统一数据挖掘和分析
满足不同角色需求,合理的成本投入带来数据收益更大化
Oracle Advanced Analytics - Database Option数据库内挖掘+企业版 R语言
可扩展、分布式、并行、库内机器学习
SQL Developer/ Oracle Data Miner
ApplicationsR Client
数据与业务分析师R 程序员 业务分析师、决策者 应用用户用户
平台 Hadoop
ORAAH并行分布式算法 X86服务器
R
19
Big Data SQL
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle 完整的大数据展现平台
•交互式仪表盘,即席查询, 通过ROLAP工具进行数据钻取
查询,报告和分析
•随时随地对数据洞察的能力移动商务智能
•提供战略地图、绩效树、绩效轮多种KPI监控
平衡积分卡与战略管理
•多维度的联多维度工具, what-if 分析, 情景预设, 规划
多维度的联机分析技术
•大容量,完美像素的布局和印刷产品报告
•数据混搭及全新的图形化信息探索工具可视化分析
OBISE
BI Publisher
ODV
BI MobileOracle BI Suite
Foundation Edition
Oracle Data Visualization
Essbase
OSSM
获取
组织
分析
决策
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Exadata企业应用/数据仓库
统一的数据资源池
Big Data Appliance分布式大数据平台
新型数据 业务数据
15TB / hour10x Faster
Oracle解决方案支持构建企业级全数据池
助力数据获取和组织,集成和管理
Oracle Big Data Connectors
商业化Hadoop
Oracle R
Oracle NoSQL DB
Oracle数据库
内存选项/多租户
高级分析
地理和图形选件
Oracle Big Data SQL
OGGODI
OGGODI
X86服务器
X86服务器
X86服务器
X86服务器
X86服务器
X86服务器
简化融合
安全 集成
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
统一SQL访问全数据。丰富的SQL语法支持,高性能数据访问,重复利用已有工具和技能,快速开发和上线,加快分析成果转化,提高竞争力。
结构化和非结构化数据统一安全管控。帮助企业构建统一的数据安全体系。防止数据泄漏,增强访问审计。保证数据安全,降低风险。
工程化系统开箱即用,简化架构和管理。生态系统完善,提供一系列商业化成熟工具支持,提供企业级特性支持,总体拥有成本低。
企业全数据管理平台。支持结合结构化和非结构化数据,进行探索,分析和挖掘。预测更准确,洞察更深入。更好支持业务,增加收入。
简化融合
安全 集成
Oracle企业级大数据解决方案的价值
22
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 23Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |
客户使用平台云加速业务创新和实现业务价值
• 提供了安全/快捷的大数据组织和分析环境
• 展现了大数据云作为技术变革的潜力
• 为客户带来了新的数据能力,如数据即服务
• 集成完整的Iaas, PaaS, Saas, BPaaS 一站式技术架构
• 促进企业外的数据快速增长
• 并为物联网提供大数据云平台支撑
Oracle Cloud公有云
让客户能在2周时间能加载和集成超过25个结构化和非结构化数据
国际领先日用消费品公司
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle大数据在全球成功案例(部分)
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 25
Oracle Cloud
数据云服务
Data as a Service
应用软件云服务
Software as a Service
平台云服务
Platform as a Service
基础设施云服务
Infrastructure as a Service
通过Oracle Cloud为全球客户和合作伙伴供应最先进的基础设施云服务、技术平台云服务、业务应用软件云服务和数据云服务
综合的
同类最佳
SaaS
公有云 &
私有云全面的
PaaS &
IaaS
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle 数据管理云产品集合
Oracle Database DataGuard RAC In-Memory NoSQL Enterprise
Manager
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
相同的架构相同的软件相同的技能
内部部署 Oracle 云
为内部部署和云提供同样的管理
Oracle 数据管理云战略
跨混合云的全面可移植性
运用数据创造价值
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
NoSQL
Oracle 数据管理云战略
支持和利用内部部署和云平台中任意规模的任何数据
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle 数据库云 — 服务概述
Oracle Exadata 服务 性能和可用性更高的数据库平台
主要用例:业务关键应用和高密度数据库整合
Oracle 数据库备份服务 通过按需扩容消除存储硬件计划
透明的管理、冗余性和高可用性
主要用例:企业级数据安全保护和隐私
Oracle 数据库即服务 功能齐备的专用单节点/集群(RAC)数据库
主要用例:开发、测试和部署新的和现有的企业应用
Oracle 多租户(模式)服务 全托管数据库模式即服务
通过 APEX、SQL Developer、Java 云服务和 RESTful Web 服务实现全面应用开发
主要用例:开发和部署部门应用
100% 兼容内部部署应用
完全自动化或托管式备份、补丁安装和工具
易于移动位置或创建混合云
只需点击几下鼠标即可进行供应
所有Oracle 数据库服务
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
一键式补丁安装
备份/恢复以及HA 和 DR
供应简单
所有语言 高级安全性 本地和远程管理
数据库即服务 — 自动化的云工具
BP 12.1.0.2.1
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
更快的上线和投入使用,相同的技术,支持根据需要进行迁移
Oracle大数据相关云服务
• 专用的– 专有的实例交付持续化高性能
– 相互不会干扰
• 有弹性的– 从小开始,根据需要扩展
• 安全的– 扩展Oracle数据库安全到Hadoop和NoSQL
• 全面的
– 包括:集成工具,准备工具,数据存储和组织,R,地理和图形选件,大数据连接器等
Big Data CloudBig Data
Preparation CloudBig Data
Discovery Cloud
Store, Manage & Query Prepare & Enrich Discover & Analyze
SQL
GoldenGate CloudData Integration
CloudDV & BI Cloud
ETL
35
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle Management Cloud
•愿景: 完整套件:ITaaS
为异构应用设计
快速交付价值
监控
诊断
性能管理
流程编排
调度
配置管理
报告
通知
日志
分析
资源管理
洞察
• 目前仅关注IT运营,而没有IT维护• 维护工作都交由Oracle Public Cloud
自劢完成:安装、升级、补丁、备份、恢复、扩容…
• 或者由 OEM 本地完成
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Oracle 已经有了世界上最安全的功能级
当前的安全技术问题: Not Always-On, Performance Penalty…
治理风险&合规管理, 接入&认证检查,异常检查,用户开通管理,授权管理
移动化安全管理,特权用户管理,目录服务管理,身份识别治理,授权管理,接入访问管理
数据加密,企业密钥管理,数据库防火墙,数据掩映,数据安全修订,特权用户监控,数据审计,安全配置
基于用户沙箱的应用安全,委托管理权,反恶意软件系统,基于网络保护的数据安全,零停机打补丁,合规性报告,应用的安全生命周期管理,安全的在线迁移,不可变安全区,独立的安全控制台
密码计算加速,应用数据完整性,启动验证,磁盘加密,安全备份,存储密钥管理
应用软件
中间件
数据库
服务器, 存储& 网络
操作系统& 虚拟机
基础设施
平台
应用
Oracle云中的安全机制(部分)
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
唯一具备超强的性能和可用性的云
专门针对云进行了优化的数据库基础架构
全面支持混合云 标准平台— 自动化云工具
在云中实现极具竞争优势的数据管理
无缝集成Oracle SaaS、IaaS 和 PaaS
集成数据和分析
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 39