oracle golden gate

<Insert Picture Here>

Введение в Oracle GoldenGate:Интеграция

данных в реальном времени

Александр Рындин

Старший консультант

2

Agenda

• Введение в Oracle GoldenGate

• Решения Oracle GoldenGate для Real-Time BI с

примерами клиентов

• Решения GoldenGate Solutions для непрерывной

доступности с примерами клиентов

• Технические подробности

• Вопросы&Ответы

3

Oracle Data Integration Solution Best-in-class Heterogeneous Platform for Data Integration

MDM Applications

SOA Platforms

Business Intelligence

Activity Monitoring

Custom Applications

Oracle GoldenGate

Log-based CDC

Bi-directional Replication

Real-time Data

SOA Abstraction Layer

Service Bus Process Manager Data Services

Oracle Data Integrator

ELT/ETL

Data Transformation

Bulk Data Movement

OLTP System

Flat Files Data Warehouse/ Data Mart

OLAP Cube Web 2.0 Web and Event Services, SOA

Storage

Data Verification

Oracle Data Quality

Data Profiling

Data Parsing

Data Cleansing

Data Federation

Data Lineage Match and Merge

Comprehensive Data Integration Solution

Oracle Applications

4

Ключевые интеграционные продукты

• Comprehensive Integration

• ELT/ETL for Bulk Data

• Service Bus

• Process Orchestration

• Human Workflow

• Data Grid

• Business Data / Metadata

• Statistical Analysis

• Time Series Reporting

• Integrated Data Quality

• Cleansing & Parsing

• De-duplication

• High Performance

• Integrated w/ODI

• Heterogeneous E-LT & ETL

• High-speed Transformations

• OLAP Data Loading

• Data Warehouse Loading

• Real Time Data Replication

• Changed Data Capture

• DBMS High Availability

• Disaster Tolerance

• Data Service Modeling

• XQuery Data Federation

• Data Security/Redaction

• XA Compliance

5

• Лидирующее решение в области интеграции и репликации данных в реальном времени

• Более 500 клиентов с 4,000+ внедрениями в

финансовом секторе, связи, медицине,

госсекторе, ритейле и коммуникациях:

• Top 3 из 5 крупнейших коммерческих

банков

• Top 3 из 3 самых нагруженных ATM сетей

• Top 7 из 10 компаний финансового

сектора

• Top 4 из 5 телекоммуникационных

провайдеров

• Top 3 из 5 крупнейших

продовольственных и аптечных сетей

GoldenGate – стратегическое решение для Oracle Лучшее в своем классе решение

http://www.swedbank.com/sst/inf/out/infOutWww1/0,,136866,00.html

6

Oracle GoldenGate обеспечивает сбор, маршрутизацию, преобразование и доставку транзакционных данных между гетерогенными средами в реальном времени c минимальной дополнительной нагрузкой

Ключевые отличия:

Не нарушаем работу, минимальное влияние, задержки меньше секунды

Открытая, модульная архитектура – поддержка гетерогенных источников и целей

Транзакционная целостность – устойчиво к прерываниям работы и сбоям

Что такое Oracle GoldenGate?

Производительность

Гибкость и расширяемость

Надежность

7

Oracle GoldenGate – единая платформа

8

Oracle GoldenGate гетерогенная поддержка

Базы данных O/S и платформы

Сбор:

Oracle

DB2

Microsoft SQL Server (+2008)

Sybase ASE

Ingres

Teradata

Enscribe

SQL/MP

SQL/MX

MySQL

JMS очереди

Применение:

Вышеперечисленные плюс:

TimesTen, Netezza, Greenplum, HP

ETL продукты

JMS очереди

Windows 2000, 2003, XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM z/OS

8

9

Как работает Oracle GoldenGate

LAN/WAN Internet

Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc).

Source Oracle & Non-Oracle

Database(s)

Target Oracle & Non-Oracle

Database(s)

Capture

10


LAN/WAN Internet

Capture Trail


Database(s)


Database(s)


Trail: записываем данные для маршрутизации.

11


LAN/WAN Internet

Capture Trail

Pump



Pump: передает данные на целевую систему


Database(s)


Database(s)

12


LAN/WAN Internet

TCP/IP

Capture Trail

Pump Trail




Маршрутизация: данные могут быть сжаты и зашифрованы при передаче


Database(s)


Database(s)

13


LAN/WAN Internet

TCP/IP

Capture Trail

Pump Delivery Trail





Delivery: применяет данные с транзакционной целостностью


Database(s)


Database(s)

14


LAN/WAN Internet

TCP/IP

Двунаправленная

Capture Trail

Pump Delivery Trail







Database(s)


Database(s)

15

Топологии Oracle GoldenGate

Однонаправленная Перенос нагрузки

на чтение

Двунаправленная Live Standby или

Active-Active for HA

Peer-to-Peer Балансировка нагрузки с несколькими главными

Трансляция Распространение

данных

Интеграция/консолидация Хранилище данных

Каскадирование Data Marts

17

Oracle Management Pack for Oracle GoldenGate Простое управление решением Oracle GoldenGate

• Управляет, формирует,

конфигурирует и отслеживает

компоненты Oracle GoldenGate

• Ключевые особенности:

• Централизация управления

модулями GoldenGate

• Rich-client и Web-based интерфейс

• Отслеживает работу в реальном

времени

• Не влияет на работу

19

GoldenGate и Data Guard

• Для распространения информации & консолидации, обновлений &

изменения приложений

• Используйте GoldenGate - гетерогенный, active-active, преобразования,

подмножество

• Для восстановления после сбой / Защиты данных / HA

• Простая полная защита Oracle Database

• Используйте Active Data Guard

• Гибкое HA, active-active, изменения схемы, изменение платформы

• Используйте GoldenGate

• Для лучшей защиты и распространения данных используйте оба продукта

Oracle

Active Data

Guard

Oracle DB Primary Oracle DB Standby

Heterogeneous

Distributed

Fully-active

Subset

Replicas

Oracle

GoldenGate

21

Agenda








22

Эволюция Business Intelligence Смена парадигмы

Фокус

бизнеса

Основные

пользователи

Сроки

Модель

использования

Данные

Source: Intelligence Solutions Inc.

Операционный BI

Управление и оптимизация

повседневных бизнес операций

LOB managers, front-line employees,

operational systems

Меньше дня

Событийное управление

Данные в реальном времени, с

низкой задержкой и исторические

Стратегический BI

Долгосрочные цели

организации

Старшее руководство,

аналитики

От месяцев до годов

Запрос/ответ

Исторические данные

23

Бизнес событие

Время действия

Задержка

данных

Задержка

анализа

Задержка

решения

Ценность

дл

я б

изн

еса

Сбор данных

Доставка информации

Действие

From TDWI The Business Case for Real-Time BI

Based on concept developed by Richard Hackathorn, Bolder Technology

Почему реальное время? Увеличиваем ценность корпоративной информации

Чтобы уменьшить задержку и повысить

ценность, данные должны собираться в

реальном времени

24

Операционные BI реального времени в действии

• Обнаружение мошенничества (Fraud detection)

• Удержание клиентов (Customer churn)

• Оптимизации рекламы (Online promotion optimization)

• Оптимизация работы с клиентом в реальном

времени

• Улучшение цепочек поставки

24 Source: Intelligence Solutions Inc. Webinar: Operational BI Its Everywhere.

25

Драйверы для перехода к хранилищу

в реальном времени

• Данные за день + старые данные

• Данные извлекаются пакетно в

нерабочее время

• Промежуточное звено для

преобразования данных

• Прерывание процесса влияет на

восстановимость данных

Legacy, Packaged

Apps, OLTP

Databases

Enterprise Data

Warehouse

Обычное хранилище данных

ETL

Хранилище в реальном времени

Enterprise Data Warehouse

Преобразование

ELT

Legacy, Packaged

Apps, OLTP

Real-Time Continuous Feeds

• Своевременные, актуальные данные

• Нет пакетного окна на OLTP

• Уменьшаем TCO за счет исключения

промежуточного сервера для

преобразований

• После прерывания процесс загрузки

легко продолжить

26

Oracle для хранилищ данных в реальном времени Высочайшая скорость интеграции данных в реальном времени,

Высочайшая скорость пакетной трансформации

BI Application

Production

OLTP Databases

DW

tx6 tx5 tx4 tx2 tx1 tx3

Real-time streaming of transactions

LAN / WAN /

Internet Capture

Source Trail Target Trail

Deliver

• Задержка данных менее секунды

• Минимальная доп. нагрузка, нет пакетного окна

• Высокая скорость, преобразования в базе данных

• Согласованные на чтения данные, ссылочная целостность

• Полная восстановимость данных с помощью Trail файлов

ODI

27

ODI

Staging Area

Enterprise DW

UsersBI Application

Пример клиента: Overstock.com

Результаты:

• Оптимизация решение и снижение расходов за счет использования

информации в реальном времени:

• Анализ клиентов делается за минуты, а не дни

• Снижены расходы на маркетинг за счет «умных» кампаний

• Уменьшен «склад»

• Исключены пакетные окно

• Компания #2 в обслуживании клиентов by National Retail Federation

Shopping and Auction Databases

Oracle GoldenGate

28

Oracle GoldenGate and Oracle Data Integrator Non-invasive Data Capture with E-LT Micro-Batch Processing

Application Real Time BI (using Data Copy)

Analytic BI (Facts & Dims)

Oracle Data Integrator

Consistency Window

Oracle GoldenGate

Auto-Generate Data Lineage

BI Tools Metadata

29

Oracle GoldenGate для операционной отчетности Перенесите отчетность на более дешевую отчетную базу

• Задержка менее секунды

• Не снижает производительность исходной системы

• Консистентные данные со ссылочной целостностью

• Полная восстановимость данных через Trail файлы

30

Решение

• Перенос данных о производстве во многих направлениях менее чем за секунду

• Позволяет транзакциям приложения быть распределенным по нескольким базам данных

• Поддержка 24*7*365 глобального процесса с точными и надежными данными

• Перенос операционной отчетности на Oracle Exadata для повышения производительности OLTP

Пример клиента: Research in Motion (RIM) Глобальная интеграция данных и высокая доступность

Oracle GoldenGate

Oracle RAC

Oracle Exadata

• Каждая фабрика должна приспосабливаться к производству новых устройству и планировать загрузку в зависимости от производства на других фабриках

• Фабричные системы должны быть доступны в режиме 24x7, чтобы работать на глобальном рынке

31

Agenda








32

Состояния недоступности Исключить все остановы для Постоянной Доступности

Доступен – нет проблем

• Запланированный

останов

• Обновление

• Миграция

• Поддержка • Незапланированный

останов

• Сбой системы

• Сбой данных

• Полу-доступен

• Проблемы с

производитель

ностью

33

Oracle GoldenGate для Oracle Database Исключаем останов во время обновления базы данных

• Безостановочная

миграция с 8i, 9i,

10g на 11g

• Миграция с других

баз данных (MS,

Sybase)

• Миграция на новую

версию приложения

• Минимизируем

риски с помощью

failback

34

Миграция без остановки, шаги: 9i 11g Cross-Platform

9i

Solaris

1. Запуск модуля захвата изменений

2. Запуск процесса клонирования, потом

обновление до 11g

3. Cross platform transportable tablespaces

экспорт метаданных

4. Используем полный экспорт базы вNOROWS

(Views, Packages, etc)

1

9i Clone 11g

Solaris 2

3,4 Oracle

GoldenGate

Capture

35

9i

Solaris

9i Clone

11g

Solaris

11g

Linux






4. Используем полный экспорт базы

вNOROWS (Views, Packages, etc)

1

2

3,4

5

6,7

5. Новая инсталляция11g

6. Cross platform transportable

tablespaces импорт метаданных

7. Полный импорт в IGNORE режиме


Oracle

GoldenGate

Capture

36

9i

Solaris

9i Clone 11g

Solaris

11g

Linux






4. Используем полный экспорт базы в

NOROWS (Views, Packages, etc)

1

2

5

8

5. Новая инсталляция11g


импорт метаданных

7. Полный импорт в IGNORE режиме

5. Запуск модуля доставки изменений

6. **SWITCHOVER** (not depicted)

3,4

6,7


Oracle

GoldenGate

Capture

Oracle

GoldenGate

Delivery

37

9i

Solaris

11g

Linux

Дополнительные шаги:

• Запуск модуля захвата изменений на 11g

• Запуск процесс доставки на 9i (old source)

1

5

8

10

11

9i Clone 11g

Solaris 2

3,4

6,7

Failback

contingency


38

Пример клиента: First Data Corporation Безостановочная миграция базы данных

Решение: • Oracle 8i на 10g Database Upgrade & OS миграция на AIX

• Поэтапная миграция в течение 3 месяцев

• Обе системы в оперативном доступе в течение 1 месяца в режиме Active-Active, чтобы избежать останова

IIP Infrastructure

81,000

агентов одновременно

Oracle 8i

HP/UX

Oracle 10g

AIX

IIP Infrastructure

Oracle GoldenGate

• Merchant Services Infrastructure для web & call orders требовала обновления с 8i

• Возможность остановки отсутствовала

39

Oracle GoldenGate для Oracle Database Избегаем незапланированного останова с помощью Active Data Guard &

Oracle GoldenGate

• Active Data Guard для

восстановления после

сбоя и защиты данных:

• Oracle-Oracle

databases

• Oracle GoldenGate для

восстановления после

сбоя и защиты данных:

• Non-Oracle platforms

• Конфигурация

active-active

• Cross-OS и Oracle

database версий

40

Oracle GoldenGate для Oracle Database Повышение производительности основной системы и снижение

расходов

• Перенос нагрузки на чтение с основной системы:

• Гетерогенная

конфигурация

• Другая

OS, версия

базы данных,

другая база

• Перенос

нагрузки с

унаследов.

системы

• Среды

active-active

41

Oracle GoldenGate для Oracle Database Повышаем ROI на существующих серверах и синхронизация данных

по всему миру

• Используем вторичные

системы для транзакций

• Нет остановки в случае

запланированного или

незапланированного

останова

• Синхронизация данных

между датацентрами

по всему миру

42

Пример клиента : Sabre Holding Снижены расходы и повышена производительность

Oracle GoldenGate

Oracle & MySQL Databases

Oracle Databases

“Lookups”

GoldenGate Transaction Updates

Up to 800,000 p/hour, 1.6 TB/day

Air Travel

Shopping

Schedule &

Availability

• Поддержка миллиардов транзакций в день

• Высокая сложность архитектуры

Решение:

• Перенос “чтения” на real-time реплики

80% снижение в TCO

• Миграция движка магазина и контента с NonStop платформы на Linux/Oracle

64% снижение стоимости лицензий

88% снижение стоимости оборудования

• Миграция 160 реплик ‘для чтения’ с MySQL на Oracle

69% снижение стоимости поддержки софта

81% снижение в будущих затратах на оборудование

79% уменьшение стоимости хостинга

43

Выгода от Oracle GoldenGate Ниже расходы, Меньше риск, Революционное понимание бизнеса

• Распространяем данные в реальном времени для более точного принятия решения

• Повышаем удовлетворенность клиентов, обслуживая без остановов

• Минимизация потерь данных и поддержание целостности

• Обеспечить откат в случае сбоя миграции

• Избегая остановов, снижаем расход бизнеса и IT

• Переносим нагрузку на чтение с унаследованных систем, масштабируем эффективнее

Ниже расходы, Выше эффективность

Меньше риск, Гарантированная целостность

Улучшить операции бизнеса

44

Oracle GoldenGate Veridata Сравнение данных без остановки

• Высокоскоростное решение для

сравнения данных с низкой

дополнительной нагрузкой

• Выявляет несоответствия данных

между гетерогенными базами данных

• Не прерывает предоставление

сервиса

• Плюсы:

• Снижает финансовые/юридические

риски

• Ускоряет и упрощает работу IT при

сравнении источников данных

• Не нарушает работу бизнес-систем

• Уверенность в дублирующих системах

• Уверенность при принятии решении и

формировании отчетности

45

Oracle GoldenGate Veridata Сравнение данных без остановки

• Высокоскоростное решение для

сравнения данных с низкой

дополнительной нагрузкой

• Выявляет несоответствия данных

между гетерогенными базами данных

• Не прерывает предоставление

сервиса

• Плюсы:

• Снижает финансовые/юридические

риски

• Ускоряет и упрощает работу IT при

сравнении источников данных

• Не нарушает работу бизнес-систем

• Уверенность в дублирующих системах

• Уверенность при принятии решении и

формировании отчетности

46

Oracle GoldenGate 11gR1 New Features

• Bounded recovery

• LOB теперь из журналов

• OLE DB для MSSQL

• Bind переменные в SQL

• Сбор изменений из кэша ASM

• Timeouts для транзакций

• Улучшенная трассировка

• Уведомления о модификации схемы

• DDL – двусторонний, расширена поддержка

• Отключение триггеров

• Новые типы данных

• Capture для Direct Load

Производительность Управляемость Гибкость

Платформы и инфраструктура

Oracle, SQL Server, MySQL, DB2 for iSeries, JMS

47

Direct Load INSERTs

• Using replication, actual application operations or changes initiated by a trigger can cause database inconsistencies

• Oracle GoldenGate now supports direct-load INSERTs

• Redo logs must have compatibility of Oracle 10g or later and supplemental logging must be enabled

• Database must be in archive log mode and the affected object must be in logging mode

• The following methods are supported:

- /*+ APPEND */ hint

- /*+ BUFFER +/ hint

- /*+ PARALLEL */ hint

- SQLLDR with DIRECT=TRUE

• SKIPDIRLOADINSERT option of TRANLOGOPTIONS causes Extract to skip all Oracle direct-load INSERTs

48

Oracle GoldenGate 11g – JMS как транспорт

JMS

Двунаправленная

Capture Trail

Pump Delivery Trail







Database(s)


Database(s)

49

New Features: GoldenGate 11.1 PS1

• Oracle Transparent Data Encryption Support (TDE)

• Column and Tablespace Level

• Use Extract DBOPTIONS Parameter DECRYPTPASSWORD

• Extract “Read-Ahead” Mechanism

• Now Parses and Reads Data in Parallel

• Reduces I/O Latency

• Replicat Asynchronous Commit

• Replicat Uses NOWAIT Option on Commit

• Improved Performance

• Available Oracle 10gR2 and Later Targets

50

New Features: GoldenGate 11.1 PS1

• Extract Now Integrated with RMAN for Recovery

• By Default Retains Appropriate Logs for Bounded Recovery

• Retention can be Configured for Normal Recovery

• Use Extract TRANLOGOPTIONS Parameter LOGRETENTION

• Smarter Extract in Oracle RAC Environment

• Extract now uses Redo Log Heartbeat instead of SCN to Maintain

Transaction Order

• Delivery to EHCC-Compressed Tables in Oracle Exadata

• Use Replicat Parameter INSERTAPPEND

51

Value Propositions для Oracle GoldenGate

Обеспечивается непрерывный сервис для бизнес-критичных

приложений, позволяя избежать запланированных и

незапланированных простое и соответствующих потерь

Меньшие IT расходы через поддержку гетерогенности для

различных платформ, что снижает затраты на инфраструктуру

Снижение рисков за счет гарантированности целостности

данных и надежности передачи в целевые системы

Высокая эффективность за счет высокой производительности

и масштабируемости средств мы обеспечены данными в

реальном времени

Облегчается совместное использование данных за счет того,

что нет влияния на существующие приложения при извлечении

данных в реальном времени

Oracle GoldenGate…

52

Заключение

• Характеристики

• минимальная нагрузка, низкая задержка

гетерогенность, большая база клиентов, для

Oracle - native

• Использование – построение RTDW, Query

offloading, миграция, отказоустойчивость

• Дополнительное – удобное GUI, Veridata

53

ALEXANDER RYNDIN

Старший консультант по

пространственным технологиям и

технологиям хранилищ данных

Moscow,

Krasnopresnenskaya

nab., 18, Block C

phone +7(495) 641-1400

fax +7(495) 641-1414

[email protected]

http://www.oracle.com/

http://www.oraclegis.com/

Oracle CIS

oracle golden gate

Documents