通过 oracle goldengate 实现向 oracle exadatade 的零停机迁移 : 客户案例分享

1 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

通过 Oracle GoldenGate 实现向 Oracle Exadatade 的零停机迁移 : 客户案例分享2011 年 12 月 15 日


日程

• Oracle Exadata 简介• Oracle GoldenGate 概览• 通过 GoldenGate 实现向 Exadata 迁移• Oracle Data Integration 用于 Oracle Exadata• 客户案例分享 : IQNavigator• Q&A


Oracle Exadata 数据库机

• 最快的数据仓库及 OLTP

• 最低成本，超高性能的数据仓库及 OLTP

• 硬件优化（每机架）– 处理器： 128 个因特尔内核， 2 TB 内存– 网络： 880 Gb/Sec 吞吐量– 存储： 5 TB 闪存和高达 336 TB 的硬盘

• 规模从 ¼ 机架到全部 8 个机架


Oracle Exadata

• 数据库服务器 – 基于 Intel 的数据库服务器– Oracle Linux 或 Solaris 11 – 10 G 以太网 ( 连接数据中心 )

• 存储服务器 – 硬盘高达 336 TB – 5 TB 闪存存储– Oracle Exadata 存储软件

• InfiniBand 网络– 40 Gb/sec InfiniBand


超高性能和存储效率

• 数据库– Oracle Database 11g– Oracle Real Application Clusters

• 存储– 智能扫描（ Smart Scan ）– 混合列压缩– 智能闪存缓存（ Smart Flash Cache ）


Exadata 提供最优整合创建一个“数据库即服务”平台

•存储量大 – 可实现多数据库整合

•超高性能– OLTP ，数据仓库，数据挖掘，批处理，报表，加

载，备份，数据库文件– 加密，压缩

•工作负载管理– 通过服务器质量（ QoS ）管理 SLA– CPU和 I/O 资源管理– Instance caging

ERP

CRM

HREDW

数据市场

Supply Chain


通过 Oracle GoldenGate 实现向 Oracle Exadatade 的零停机迁移

ORACLEPRODUCT

LOGO


以下内容旨在概述产品总体发展方向。该内容仅供参考，不可纳入任何合同。该内容不构成提供任何材料、代码或功能的承诺，并且不应该作为制定购买决策的依据。

Oracle 有权自行决定任何产品的特性或功能的开发、发布和时间安排。


日程

• 数据迁移的关键挑战• Oracle GoldenGate 概览• 通过 GoldenGate 实现向 Exadata 迁移• Oracle Data Integration 用于 Oracle Exadata


向 Exadata 迁移的关键挑战

数据问题同步问题维持 SLA

• 实例化数 TB/PB 的内容

• 临时区域

• 变更管理

• 特殊处理

• 持续变更

• 增量式数据移动

• 源数据影响

• 影响收入

• 客户 / 合作伙伴预期

• 相互依赖，集成

• 故障恢复策略 / 选项


最大可用性体系架构

下一代数据集成

Oracle GoldenGate


• 存储故障• 数据恢复• 备份

• 实例失败• 服务器故障• RAC rolling 维护• 性能 scale-out

• 合并

• 连续时点（ PIT）恢复

• 修复逻辑损坏• 事务• 表• 数据库

• 数据库故障• 系统故障• 站点故障• 零数据丢失• 自动数据库故障转移• 漏写保护• 数据库滚动升级• 卸载只读工作负载和

备份• 进行迁移

• 零停机升级和迁移• 在线平台和应用升级• 双向多主复制• 分发只读与读写工作负载• 为站点防护提供了物理复制的另

一种方法• 灵活规划的维护和异构迁移

五大步骤实现最高可用性

ASM, RMAN,OSB

Oracle RAC

Flashback

ActiveData Guard

Oracle GoldenGate


认可数百种数据来源

认可数百种目标地

• 任意数据

• 弹性架构

• 性能最高的 ETL/ELT

• 快速、简单部署

• 清洁并与任意数据匹配

Oracle Data Integration下一代企业级数据集成解决方案

Oracle GoldenGate

实时

Oracle Data Integrator

更易用、更快、更低 TCO

Oracle Enterprise Data Quality

提供企业信任的数据


Oracle Data Integrator 11g 实现最快的 ETL/E-LT ，加快价值实现，降低 TCO

同类最佳的性能和可伸缩性

降低 TCO ，轻量级部署

提高可用性和可管理性

异构

开放、基于标准

任何数据仓库

任何计划系统

OLTP 数据库源

应用源

原有源

Oracle Data Integrator 企业版


GoldenGate: Oracle 战略性产品

• 超过 1200家客户，包括财富 500强企业，金融服务，通讯、医疗、公共机关、零售和公用事业等多个行业。

五大商业银行中的 4 家三大最繁忙 ATM 网络全部部署五大财务数据服务公司全部部署五大电信运营商全部部署五大食品和药品连锁店中的 3 家


Oracle GoldenGate 11g低影响、实时数据集成和事务复制

新数据库 / 硬件 / 应用 /OS

完全主动的分布式数据库

报表数据库

数据仓库

全球数据中心

ODSData Integrator

零停机升级 & 迁移

Query Offloading, Disaster Recovery

整个企业数据同步

实时 BI,

运营报表 ,MDM

事件驱动架构 , SOA

高可用 / 灾难恢复

基于日志，变更数据

数据库

消息总线

原资源

消息总线


捕获 : 实时读取交易日志，捕获事务数据并可实现过滤。

队列文件 : 准备数据，使数据排入队列以备传输。数据泵 : 分发数据以便传输至目的地。

传输：数据经过压缩和加密传送到目的地。提交 : 保持数据事务完整性，根据需要执行数据转换。

源（ Oracle 或非 Oracle ）数据库

目标（ Oracle 或非 Oracle ）数据库双向

Oracle GoldenGate 工作原理


高性能

可扩展和灵活

高可靠

•数据移动亚秒级延迟•低影响

• 开放式、模块化体系架构架构•支持异构源和目标数据库• 灵活敏捷，适应现代数据集成架构

• 保持事务完整性•避免中断或故障• 进程中断后快速恢复

Oracle GoldenGate — 与众不同


零停机整合 / 迁移解决方案• 使用 Golden Gate 在旧数

据库与 Exadata之间进行双向事件复制。

优点• 保证业务不因迁移 / 整合而

中断• 通过故障恢复选项将风险降

至最低• 通过逐步迁移促进成功

实时更改数据

故障恢复数据流Oracle, Legacy,非 Oracle 数据

库 Oracle Exadata

转换


日程

• 数据迁移的关键挑战• Oracle GoldenGate 概览• 通过 GoldenGate 实现向 Exadata 迁移• Oracle Data Integration 用于 Oracle Exadata


用于 Exadata 的数据集成解决方案 - 1

推动 OLTP 数据库整合

数据库迁移 / 整合

数据仓库设备迁移

• 零停机转换– 数据库滚动升级 (10g 11g)

– 主动 - 主动，阶段性整合– 非侵入式，开支最小化

• 非Oracle 到 Exadata

与非Oracle设备的连通性有效的基于工具的解决方案自动阶段性控制


向 Exadata 迁移使用原生工具从非 Oracle 设备向 Exadata 迁移

解决方案•利用 ODI 实现来自非 Exadata 的数据在 Exadata 数据模型中建模和映射 •为 Netezza、 Teradata、 DB2/z及 DB Utilities 提供原生支持•GoldenGate 从 Teradata 或 DB2 z 系列中进行实时 CDC

优点•基于工具的迁移更具可重复性与自动性•主动 - 主动阶段性转换选项•ODI和 GoldenGate 是更易维护的解决方案，它们可用于长期规划


用于 Exadata 的数据集成解决方案 - 2 启动智能数据仓库

数据仓库批量加载实时数据仓库升级

• 持续数据更新– 数据流进入 Exadata– 非侵入式捕捉– 事务一致性

调整并优化延迟– 非侵入性，高速– 微批次 w/DB 捕捉– 增量， Intra-data Feeds

• 成本有效运作– 没有新 ETL 硬件– 整合监控与管理– 简单并快速安装

最快的 E-LT

– 利用 DBFS w/Exadata SQL 智能扫描进行数据转换

– 针对Exadata 优化 E-LT


Oracle Data Integration 用于数据仓库随时将数据导入数据仓库

解决方案• Oracle GoldenGate 为数据仓库提供基于日志的实时变更数

据捕捉、分发和交付• Oracle Data Integrator 可提供一日内或每日或其他任何时段

的解决方案

优点• GoldenGate是非侵入式，不影响源系统• 使用 GoldenGate、 CDC Adapters、 Triggers或 Delta ETL

jobs， ODI 工具可模拟任何时段数据的交付• 更低成本，数据可按业务要求速度交付

Oracle GoldenGate

ODI Agent

Oracle GoldenGate

支持绝大多数主流数据库管理员工具


支持绝大多数主流数据仓库

低影响 ,实时变更数据

批量处理一日内或每日负载


投资回报• 在 Siebel CRM 活动管理系统中及时访

问数据• 数据仓库批处理窗口减少 50%• 从数据仓库生成报告的数量增长 10倍

目标• 通过及时客户信息支持活动管理• 数据增长的同时减少批处理窗口，提升 ETL 及报表性能

客户案例 : Exadata 上的实时数据仓库 AVEA

解决方案• GoldenGate 从 CRM、 Billing 和其他关键系统向 ODS 提供实时数据

• ODI 从 ODS 中获取近实时数据并载入 Exadata 数据仓库

• OBI EE 用于实时报告


26EMP DEPT

DIM

FACT

DIM

DIMDIM

EMP DEPT通过 ELT 进行批量供给、增量

更新及数据库内转换

非侵入式实时事务获取tx4 tx2 tx1tx3

• 直接在 Exadata 上运行• 为数据仓库启用迁移、整合• 支持任何时间的数据内容• 提供非侵入式来源捕获• 最具成本效益、性能超高的数据加载

为 Exadata 提供完整数据集成顶级性能 , 集成，“ Red Stack Optimized”


OracleGoldenGate



总结通过 Oracle GoldenGate 实现零停机迁移


向 Oracle Exadata 迁移

• 2011年 12月 15 日

Proprietary and Confidential29

IQNavigator 背景简介

服务于电子采购软件供应商自动端到端：申请，合同，交付，计费样例服务：临时工，顾问，外包服务，现场服务等成立于 1999年，总部设在科罗拉多州丹佛市。

350 名员工75% 的客户位于全球 2000 中40% 的使用量位于美国之外

全方位软件即服务全方位 Oracle 技术实时报告关注于通用性：定价基于“成本花费”而非用户情况进行定价；约有 400万用户

市场领导者2010 Forrester Wave: 市场现有及未来战略占有率均处于领先位置每年 30% 的增长速度


为何选择 exadata?

扩展性战略 2011年初计划进行存储层升级

− 目标：更快的读写速度− 速度问题：报表运行时间和页面响应时间影响用户量

需要继续对 OLTP 数据库实时报告 Exadata 评估选项

Exadata 优点 10倍性能（ 2011年 2月通过概念证明）

− OLTP 和实时报告工作负载单一供应商支持模式整合测试环境与 OracleEBS 数据库未来的延伸性 & 扩展性通过其他选项无法实现这种性能无 Oracle 数据库之外的绑定供应商

2011年 2月购入 Exadatas两台四分之一机架一个存储量超大，用于测试；一个吞吐量超大，用于生产。 2011年 4月交付 Production & Oracle EBS 在 2011年 9-10月实行


为何要求零停机？

要求零停机，因为 :全球 2000 家客户的需求

12 家公司为财富 100 强用户来自 124 个国家众多金融服务及多业务客户最大的客户在马来西亚拥有自己的全球技术支持中心

关键任务业务流程发放 50万名提供服务人员的工资保障生产企业、配送中心及办公地点系统安全向非雇员提供访问系统的客户端

通过经济处罚控制系统正常运行时间的 SLA 对 SaaS 供应商而言有些独特


起点 & 迁移目标

迁移目标：零停机 ( 在周末通宵窗口之外 )高可靠迁移

测试与验证每个步骤回退对用户和客户完全透明交换生产 & 灾难恢复数据中心整合测试环境到二代 Exadata 上最大限度减少日常运营及支持需求


迁移计划概览

核心项目规划要点：Proof-of-Concept:

生产数据（清洁），生产工作负载检测 SQL返回时间， CPU利用率， I/O吞吐量利用 Oracle 服务安装及配置迁移多测试环境：

仅供内部的测试环境，用户验收的测试环境− 为客户提供性能预览

Exadata2 (测试 ) -> Exadata1 ( 成品 ) 迁移压力测试负载

最终协调事先练习创建清单，派生回退计划并为每一个步骤获得良好的时序预估附有多个检测点和清晰沟通步骤的高度结构化的计划

简化计划 : 从 Exadata 迁移中独立出网络变更单独运行 Oracle EBS 升级项目


终点 & 经验

经验：Exadata 硬件：高容量硬盘，更多内存计算节点系统制约 (即调整目标 ) 从硬盘中去读取 CPU

DBA角色扩展，可管理数据库中所有事务，包括存储

通过 Oracle Support充分利用变更关系更快的运行时间，以致更高的终端用户需求及新

环境要求


成果 & 未来规划

成果：网页响应时间由每亚秒 92% 上升至每亚秒中位数报告运行时间从 2.5 分钟缩短为 22秒百万行级别项目创建清单进程提速 8倍

未来规划：继续调整 Oracle 11g及 Exadata

− 为一些表单启用压缩添加 GoldenGate ，将其转换至 Exadata2 上的备用数据库快速运行近实时备用数据库的分析报告增加扩展存储


<Insert Picture Here>

Twittertwitter.com/ORCLGoldenGate

twitter.com/ExadataFacebookfacebook.com/OracleDataIntegrationBlogoracle.com/blogs/DataIntegration

加入我们Oracle.com/Exadata

Oracle.com/goto/GoldenGate


问答

37

通过 oracle goldengate 实现向 oracle exadatade 的零停机迁移 : 客户案例分享

Documents