Новые возможности odi и ggoraclebiru.s3.amazonaws.com/bibeer2014/newdis.pdf ·...

Новые возможности ODI и GG

Рындин Александр Beer and Lobsters

Engineered

To Work

Together

Copyright © 2014, Oracle and/or its affiliates. All rights reserved. 2

Новости платформы интеграции данных Oracle

GoldenGate 12.1.2 (ожидаем 12.1.2.1)

Платформа Fusion Middleware 12.1.3

– ODI (ETL), ODSI (LDW), Veridata, GoldenGate Monitor,

– EDQ (Data Quality)

ODI – большая поддержка Big Data (Hbase, Sqoop)

– Integrated Replicat

BI Applications 11.1.1.8 (+ODI, +OGG, +Endeca)

Инструменты миграции

– OWB2ODI

– Stream2OGG (ожидаем)


Integrated vs Classic Extract Real time mode

Source database and Integrated Capture process are in the same machine

User/Application changes

Record

changes Capture

changes

Redo Logs

Capture

Integrated

Extract

Oracle Database

Trail

File …..

Source Machine

LCR1

LCR2

LCR3

….

….

….

Logical Change

Records

+ Real-Time доставка

+ Больше типов данных

- Нагрузка на источник

+ Прозрачная поддержка RAC, TDE

- Сложнее управление


Integrated Extract – Real Time Downstream mode


Record

changes

Redo Logs

Ca

ptu

re

Integrated

Extract

Oracle Database

Trail

File

Source Machine

Source database and Integrated Capture process are in different machine

Standby

Redo Logs

Oracle Database

Downstream Machine

….. Continuous REDO

Shipping

Capture

changes

LCR1

LCR2

LCR3

….

….

….

Logical Change

Records

Capture

+ Real-Time доставка

+ Больше типов данных

+ Нет Нагрузки на источник

+ Прозрачная поддержка RAC, TDE

- Сложнее управление


Integrated Extract – Real Time “Cloud” mode


Record

changes

Redo Logs Integrated

Extract

Oracle Database

Trail

File

Cloud Server

Source database and Integrated Capture process are in different machine

On-Premise Server

…..

Capture

changes

LCR1

LCR2

LCR3

….

….

….

Logical Change

Records

Capture

+ Уникальный режим


Текущий подход для репликации больших объемов

Trail

Files

Replicat

Replicat

Replicat

Replicat

Специалист

определяет

распределение

нагрузки SQL

SQL

SQL

SQL

Целевая

база данных

При высокой нагрузке

транзакция разбивается

Сложно реплицировать

– DDL

– Зависимые таблицы с

внешними ключами

Сложно

конфигурировать и

поддерживать


Integrated Replicat

Replicat

• Читает trail file

• Создает logical change records

(LCRs)

• Передает LCRs в Oracle Database

через Lightweight Streaming API

Inbound Server (Database Apply Process)

• Receiver: Читает LCRs

• Preparer: Вычисляет зависимости между транзакциями (первичный ключ,

уникальный индекс, внешний ключ) , группирует транзакции, сортирует с учетом

зависимости

• Coordinator: Координирует транзакции, управляет порядком работы applier

• Applier: Применяет назначенные транзакции, включая разрешение конфликтов и

обработку ошибок.

Trail

Files Replicat

Lightweight

Streaming

API

Receiver Preparer Coordinator

Inbound Server

Applier N

Applier 2

Applier 1

Oracle Database


Parallel Integrated Replicat

Зависимости между транзакциями вычисляются на основе Primary

Key, Unique Index и Foreign Key на целевой базе

– Supplemental logging требуется для этих столбцов

– Trail file должен переносить эти столбцы

Порядок commit при применении конфигурируем

COMMIT_SERIALIZATION

– FULL: в порядке commit на источнике

– DEPENDENT_TRANSACTIONS : commit зависимых транзакций в

правильном порядке


Enable_goldengate_replication

Требуется для Oracle DB 11.2.0.4 и 12.1.0.2+

– Должен быть установлен в TRUE

– Динамический

Classic и Integrated Extract

Integrated, nonIntegrated, Coordinated Replicat

Enterprise и/или Standard Edition database

DB Error ORA-26947 если не настроен

– MOS 1568417.1

Уведомляет DBA об использовании OGG


Support for DDL and DML handlers

Adds support for DDL and DML handlers in direct (fallback) mode

execution

If a handler is configured in database then execute the handler instead

of using normal replicat apply code path

– DDL LCR is constructed and PL/SQL DDL handler is called

– DML LCR is constructed and sent to the inbound server with a direct

execution flag

– Only tables supported by the inbound server can support DML handlers

Consider replacing map level SQLEXEC with DML statement handlers


Повышенная доступность Интеграция с Data Guard и FSFO

Source Oracle Database

Target

Oracle / Non-Oracle

Database

Capture Trail

Files

Pump Delivery

LAN / WAN / Internet

Over TCP/IP

Trail

Files

Data Guard

Continuous Log

shipping

Data Guard Standby Oracle Database

• Нормальная работа

oС источника на Standby с помощью

Oracle Data Guard

oС источника на целевую систему в реальном

времени с помощью Oracle GoldenGate


Бывшая Source Oracle Database

Target

Oracle / Non-Oracle

Database

Capture Trail

Files

Pump

Delivery

LAN / WAN / Internet

Over TCP/IP

Trail

Files

Source Oracle Database

• Интеграция с ASYNC FSFO

• Интеграция с Oracle’s XAG

• Broker Integration для GoldenGate X

Повышенная доступность Интеграция с Data Guard и FSFO


Тесная интеграция с Oracle Coherence Обзор

• GoldenGate Coherence Adapter

запускает на базе данных

источника

• Зафиксированные изменения

реплицируются в реальном

времени из источника в

Coherence через адаптер

• Интеграция с Coherence

обеспечивается с помощью

TopLink extensions

Oracle Coherence Grid Edition 12.1.2

Oracle & Non-Oracle Database(s)

Capture

Coh

eren

ce

Ada

pter

Trail

Files

Oracle TopLink

Reads/Writes Initiated

By Coherence

Third Party

DML Operations


Databases

Oracle GoldenGate Capture:

Oracle 12c

IBM DB2 LUW 10.1 & 10.5

IBM DB2 for z/OS

IBM DB2 for i/Series

Microsoft SQL Server 2008, 2012

Sybase ASE 15.7

Teradata

Oracle MySQL 5.6

Oracle MySQL Cluster 7.1,7.2, 7.3

Enscribe

SQL/MP

SQL/MX

JMS message queues

Oracle GoldenGate Integrated Capture &

Delivery:

Integrated Capture

For Oracle Database 10.2+

Integrated Dynamic Delivery

Oracle 11.2.0.4, 12.1.0.1

Coordinated Deliver

All databases

Oracle GoldenGate Delivery:

All listed, plus:

TimesTen, PostgreSQL, Netezza &

Greenplum

15

Oracle GoldenGate 12c Supported Databases

New

New

New

New

New

New

New

New

Improved


Oracle Veridata

1. Исходные данные изначально плохие (#1 Reason)

– Напутали с NLS, плохо импортировали данные

2. Data Gaps или Overlaps во время инициации

– Открытые транзакции (data gap) или дубликаты (overlap) в таблицах без

уникального ключа

3. User/App случайно изменил данные на приемнике

4. “Nologging” операции

5. Отчеты “Read Only” изменили таблицы

Что делает хорошие данные плохими?


Oracle GoldenGate Veridata 11.2/12c Components & Flow Communications and Startup

Сравнение меняющихся данных происходит в два этапа:

1. Начальное сравнение

2. Подтверждение расхождения

Target

Database

Source

Database

Veridata

Repository

Web

Client

Veridata

Agent

Veridata

Agent

JDBC

JDBC

Veridata

Web Server

Command Line

(Vericom)

JDBC

TCP/IIP

TCP/IIP

TCP/IIP

HTTP

Agent Hashes

Row & Sends PK

+ Hash

Server Sorts Rows,

Compares Hash,

Generates COOS

OGG


New for Veridata 12.1.3

• Восстановление гетерогенныхданных

• WLS 12.1.3 / Single Sign on

• SSL and IPv6 for Agents

• Шифрование отчетов (.rpt, .oos, .oosxml)

• Удаление старых отчетов

• Инструмент для скриптования (Load config API)

Oracle Veridata - Now & Later

Veridata Today

• Высокоскоростное, гетерогенное сравнение

• Низкое влияние: не блокирует; хэширование и сортировка не в базе

• Подмножество строк/столбцов; хранит историю аудита; визуализирует


Monitor 12.1.3 & EM Plug-in 12.1.0.2

Securely Manage GoldenGate Processes • Запуск, остановка и прерывание процессов

• Редактирование конфигурационных файлов

• Управление доступном пользователей

Уведомление & устранение проблем • Просмотр Report и Discard files

• Просмотр и реакция на сообщения в ggserr.log

• Реакция на более чем 20 метрик (SNMP, Email, external programs)

Визуализация • Вывод в виде графика любой метрики

• Просмотр всего или частичного решения (Monitor)


Цели ODI 12c Mapping Комбинация декларативного и потокового подхода

Простота

Абстракция физической

реализации от логического

маппинга

Расширяемая модель для

любых интеграционных

механизмов

Показывает связи таблиц-

источников

Универсальный для больших и

сложных примеров

Быстрое создается и легко

рефакторится


Обнаружение компонент ODI

Агентов: Standalone и JEE

Репозиториев

Баз источников и приемников

Мониторинг

Доступности

– ODI homepage для быстрой

оценки статуса

Производительности

– Производительность ODI компонент

Management Pack for Oracle Data Integrator Ключевые возможности


Интеграция между GoldenGate и ODI 12c

Bulk Load Scenario Real Time Scenario

Включаем GoldenGate Journalizing на

интерфейсы без реструктуризации

Управляем GoldenGate

экземплярами Capture/Delivery в

ODI Topology

Устанавливаем основные параметры

GoldenGate графически

Развертывание процессов

GoldenGate Processes via ODI

Поддержка Real-Time и Bulk режима

из одного интерфейса

Extract Replicat


Loads

Oracle Data Integrator

Oracle Data Integrator for Big Data Heterogeneous Integration with Hadoop Environments

Loads

Transforms

IKM File To Hive (Load Data) IKM SQL to Hive- HBase-File (SQOOP)

IKM File-Hive To Oracle (OLH, OSCH) IKM File-Hive to SQL (SQOOP)

IKM Hive Transform IKM Hive Control Append CKM Hive RKM Hive LKM HBase to Hive IKM Hive to HBase RKM Hbase

Red KMs: ODI 12.1.3

http://hadoop.apache.org/


Новый технология ‘OWB Runtime

Repository’ доступна в Topology

OWB процессы могут быть вызваны

с помощью инструмента

OdiStartOwbJob

Информация аудита OWB доступна

в Operator, ODI Console и Enterprise

Manager

Начато бета-тестирование утилиты

миграции OWB в ODI

Запуск OWB 11.2 процессов из ODI 12c


OWB to ODI Migration Utility Overview

Versions supported

OWB 11.2.0.4 to ODI 12c

Design-time metadata migration only

Data Objects

Mappings

Separate command line utility

uses OWB SDK and ODI SDK

3 different running modes: Run/Dry Run/Fast Check

log and report files are available

Новые возможности odi и ggoraclebiru.s3.amazonaws.com/bibeer2014/newdis.pdf ·...

Documents