<Insert Picture Here>

AENA - Piloto Integración de datos en Tiempo Real Oracle Golden Gate Diciembre 2011

2

Piloto Integración de Datos en AENA Situación y Objetivos

Situación AENA posee un Sistema Transaccional - 16 Aeropuertos de Nivel 3 Traslada datos a: Base de datos histórica Plataforma Data Warehouse para Reporting Operacional. Objetivos Extracción y Traslado de Datos en menor tiempo posible. Tiempo Actual de extracción (job Oracle ejecutado cada 15 min) Traslado de datos basado en Vistas Materializadas Reducción de Carga en Sistema Transaccional. Acceso a 310 tablas del Sist. Transaccional para obtener los cambios. Simplificación de Infraestructura. Actualmente existen 6 bbdd para carga de los datos en el DWH.

3

Piloto Integración de Datos en AENA Arquitectura Existente

Sistema Actual • Consumos de tiempos en traslado de información (Vistas Materializadas) • Perdidas de datos (MLOG) • Carga en sistema Transaccional origen de datos (Triggers)

4

Oracle GoldenGate permite captura de información crítica con nulo impacto en rendimiento de los sistemas origen, enrutado, transformación y envío entre entornos heterogeneos en tiempo real, asegurando transaccionalidad y fiabilidad de los datos

Oracle GoldenGate La solución para Integración de Datos en Tiempo Real

Fuentes Heterogeneas

Data Warehouse

Producción

Integración Real-time +

Transformation

5

• Fiabilidad Mantiene la integridad transaccional - Fiable contra interrupciones de servicio • Rendimiento No intrusivo en Origen, bajo impacto, latencia <1 segundo • Flexibilidad Arquitectura modular - Soporta orígenes y destinos con tecnología heterogénea

Sistema Propuesto

Oracle GoldenGate

Oracle GoldenGate

Oracle GoldenGate

Piloto Integración de Datos en AENA Arquitectura Propuesta

6

Carga de Sistemas Origen • VM son mecanismos de base de datos que producen consumo elevado

de recursos en el SGBDR, pudiendo impactar en el sistema transaccional origen.

• GG es un componente que lee cambios del Log Transaccional o Archivado, no realizando operaciones en el SGBDR. La carga en origen es inapreciable.

Bloqueos y Fiabilidad • VM generan bloqueos que, dependiendo de la frecuencia y tiempos de

refresco, pueden derivar en fallos en el traslado de datos de difícil control. • GG, al leer del log los cambios, nunca genera bloqueos en bd.

Integridad Referencial • Para mantener la Integridad Referencial la actualización de las Vistas

Materializadas debe realizarse secuencialmente, impactando en el tiempo de traslado de datos.

• GG traslada transacciones completas en el momento que son comiteadas, trasladandose en el orden que se realizaron en origen, con 100% garantía de Intregridad.

Vistas Materializadas y Oracle GoldenGate Diferencias VM - GG

7

Tiempos de Réplica • En las VM, los Tiempos de Replica suelen ser elevados, del orden de

minutos. (trigger ejecuta el refresco cada 15’ y las VMs tardan unos 5’ en trasladar los datos)

• GG traslada los datos en Tiempo Real, con retardo de pocos segundos MLOG

• VM utiliza MLOG, pieza crucial para su actualización. Los MLOG suelen crecer rapidamente, siendo compleja su administración.

• GG utiliza el Log Transaccional o Archivado, mecanismo habitual de BD. Fiabilidad

• La fiabilidad de las VM depende del MLOG. Si por error desaparecen, no existe punto de sincronización simple y se genera enorme carga administrativa.

• GG no requiere de MLOG. Es capaz de sincronizarse automáticamente en base a SCN en cualquier momento si hay una incidencia entre extremos.

Vistas Materializadas y Oracle GoldenGate Diferencias VM - GG

8

Administración • VM y MLOGs requieren de una elevada administración, empleada en

tiempos en verificación, integridad de datos, gestión de incidencias. • La fiablilidad y los mecanismos automáticos de gestión de incidencias,

resincronización, etc… los proporciona por defecto el producto, simplificando la administración.

En Resumen, Oracle Golden Gate aporta al entorno: 1. Reducción de Tiempos en Traslado de Datos 2. Fiabilidad, Integridad y capacidad de recuperación ante incidencias 3. Simplicidad en administración, en base a mecanismos automáticos y

capacidades propias del producto que de otro modo deben administrarse o implementarse (controles de datos, bloqueos, …)

4. Simplificación en Arquitectura del Sistema, eliminando pasos intermedios desde SCENA a la plataforma de DWH.

Vistas Materializadas y Oracle GoldenGate Diferencias VM - GG

9

Oracle GoldenGate Información Adicional

Informacion Adicional

10

Oracle GoldenGate – Casos de Uso La Integración en Tiempo Real – aplicaciones para la empresa

Captura de datos modificados, en Tiempo Real, de los logs

Sistemas Origen Heterogéneos

EDW ODS

EDW

Active-Active High Availability

Zero Downtime Migration and

Upgrades

Real-time BI

Fully Active Distributed Database

Reporting Database

ETL

ETL

Query Offloading

Data Distribution

New DB/ OS/HW/App

Global Data Centers

SOA/EDA

Oracle GoldenGate

• Estandarización de una Unica Tecnología para Múltiples necesidades

• Permite la Disponibilidad Continua y el acceso a datos en Tiempo Real para Reporting / BI

• Arquitectura muy flexible • Implantaciones muy rápidas • Bajo TCO & ROI muy rápido

11

GoldenGate Alta Disponibilidad Live Standby

Beneficios • Entornos heterogéneos • El menor tiempo para la recuperación y cambio al sistema en stand-by (switchover) • Re-sincronización de los sistemas primarios y de backup • Nula pérdida o corrupción de datos • Sin restricciones entre las ubicaciones geográficas – no afecta la distancia • El backup puede ser re-utilizado para Reporting

Disaster Recovery

12

GoldenGate Alta Disponibilidad Activo-Activo

Beneficios • Entornos heterogeneos • Disponibilidad contínua • Distribución de carga transaccional • Rendimiento escalable • Detección de conflictos y resolución

Disaster Recovery

13

Disponibilidad Contínua Migraciones y actualizaciones de bases de datos y aplicaciones con “Zero-downtime”

Solución : • Migrar desde bases de datos, hardware o

plataformas heterogéneas a plataforma estandarizada Oracle11g con mínima disrupción operativa

• Actualización de aplicaciones certificadas Oracle a nuevas versiones (Siebel) sin downtime

Beneficios : • Estandarización del centro de datos y

modernización de las plataformas • Zero down-time para aplicaciones críticas • Migración segura de usuarios de un sistema a

otro, manteniendo ambos operativos. ¿Qué productos posicionar? • Oracle GoldenGate

Previous Version New Version

Continuous Availability

OGG

Necesidad: “¿Hay que realizar una migración de base de datos o una actualización de una aplicación critica pero no es posible realizar ninguna parada por su impacto en los procesos de negocio?

Previous DB Version New DB Version

14

Zero Downtime – Aplicaciones críticas Elimina el periodo de indisponibilidad durante la migración / actualización de aplicaciones – Misma operativa que en el caso anterior

• Active-Active: continuous bi-directional replication • Supports phased upgrade approach; allows active users on old and new Siebel version at

once • Zero-Downtime Fall back for risk mitigation

• Significant pre-built integration work reduces cost to customer • Upgrade and downgrade logic modeled and delivered by Oracle • Conflict detection rules created

Migraciones de Aplicaciones

15

Integración de datos en Tiempo Real Reporting en entornos operacionales

Solución : • Informes sobre datos reales, inmediatos (live

data), en sistemas transaccionales • Sin necesidad de realizar una carga adicional

en el sistema origen – informes en una nueva instancia de la base de datos sincronizados en tiempo real.

Beneficios : • Permite disponer de informes tácticos para la

rápida toma de decisiones el seguimiento del estado de negocio.

• Elimina el impacto en los sistemas origen. • Resuelve los retos de ejecutar informes en

sistemas transaccionales (MIPs para ejecutar transacciones en vez de generar informes)

¿Qué productos posicionar? • Oracle GoldenGate para crear una replica

operacial. • BI Publisher para Reporting operational.

Real Time Data Integration

Transactional Applications

Operational Data Store

OGG

Necesidad: “¿Dispone de la transparencia adecuada sobre los datos en los sistemas transaccionales más sensitivos?”

16

Integración de datos en Tiempo Real Business Intelligence en Tiempo Real

Solución : • Poblar un almacén de datos operacional

destinado a un BI operacional con datos en tiempo real.

• Ejecutar ELT desde ODS para cargar datos al warehouse con datos transformados

Beneficios : • Mejora la capacidad de análisis sobre el

negocio • Combina la capacidad de inteligencia de

negocio sobre datos actuales e históricos • Elimina la carga en los sistemas fuente • Reduce los tiempos de latencia y las ventanas

de tiempo por procesamiento batch ¿Qué productos posicionar? • Oracle GoldenGate y Data Integrator

Real Time Data Integration

Heterogeneous Sources

Enterprise Data Warehouse Oracle Database, Oracle Exadata

Production

Real-time Integration + Bulk Data Transformation

OGG

ODI

Necesidad: “¿Necesita analizar la situación y estado de su negocio con los datos más actuales, sin necesidad de impactar en sus sistemas más críticos?

17

Query Offloading – Reducción de costes Creación de un nuevo entorno para consultas

Solución: • Crear una réplica en tiempo real del entorno

operacional (legacy o mainframe) muy costoso sobre Oracle con RAC o Linux.

• Sincronización de la réplica en tiempo y real y envío de datos read-only

Beneficios: • Reduce/elimina las operaciones SQL en sistemas

transaccionales • Directamente reduce el coste de sistemas legacy,

mainframe, non-oracle ¿Qué productos posicionar?

• Oracle GoldenGate soporte bases de datos, hardware y plataformas heterogéneas

Non-Oracle or Legacy Platform

Oracle Platform

OLTP Transactions

Read Only Users

Query Offloading

OGG

Reducción de costes

Necesidad: “¿Es necesario trasladar las capacidades de procesamiento de opraciones SQL a BBDD estandar con menor coste en SW y HW, sin interrupción en transacciones o procesos críticos y a la vez soportar el crecimiento de datos generado por el incremento en el número de usuarios?”

18

Disponibilidad Contínua Distribución de datos / Sincronización

Solución : • Replicar datos entre aplicaciones distribuidas permitiendo

realizar operaciones globales y mejorando la eficiencia operacional.

• Distribuir datos en tiempo real entre entornos Oracle y no Oracle.

• Crear configuraciones Activo-Activo, permitiendo disponer de datos sincronizados entre Centros de datos.

Beneficios : • Alta disponibilidad en datos críticos • Posibilidad de escalado y de manejo de grandes

volúmenes de datos • Acceso a datos consistentes entre centros de datos,

geográficamente dispersos ¿Qué productos posicionar? • Oracle GoldenGate

Oracle 9i Oracle 11g

Oracle 10g SQL Server

Continuous Availability

OGG

Necesidad: “¿Cómo responden tus datos ante peticiones realizadas 24x7? ¿Pueden todas tus unidades de negocio acceder al mismo tiempo a la información más actualizada contínuamente?”

19

GoldenGate - Arquitectura

Database(s) Origen

Database(s) Destino

LAN / WAN / Internet (TCP/IP)

Route: Datos comprimidos, encriptados para múltiples destinos.

Capture: Los cambios committed son capturados ( pueden ser filtrados) según se producen, leyendo el log de transacciones.

Capture

Trail files: Almacena y encola los datos para su envío

Source Trail

Delivery: Escribe los datos con integridad transaccional, transformando los datos según sea necesario.

Target Trail Delivery

Bi-direccional

Source Trail Target Trail Delivery Capture

Pump

Pump

Pump: Distribuye los datos para su enrutado a multiples destinos.

20

Bases de datos O/S y Plataformas Oracle GoldenGate Capture: Oracle DB2 for v 9.7 Microsoft SQL Server for v 2008 Sybase ASE Teradata Enscribe SQL/MP SQL/MX MySQL JMS message queues

Oracle GoldenGate Delivery: All listed above, plus: TimesTen, Netezza, Greenplum, HP Neoview and any ODBC compatible databases ETL products

Linux

Sun Solaris

Windows 2000, 2003, XP

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM z Series

zLinux

Key Feature: Heterogeneity

NEW

NEW

NEW

NEW

NEW

GoldenGate – Plataformas heterogéneas

21

Oracle GoldenGate - Topologías

Unidireccional Query Offloading

Bi-Direccional Live Standby or

Active-Active for HA

Peer-to-Peer Load Balancing,

Multi-Master

Broadcast Data Distribution

Integración/Consolidación Data Warehouse

En Cascada Data Marts

22

Oracle A

Capture

Apply

NonStop A

Capture

Apply

Oracle B

Apply

Capture

NonStop B

Apply

Capture

DataWarehouse

Transform and Apply

Single Capture – Multiple Apply

23

Single Capture – Multiple Apply

24

Out-of-the-Box Transformation Capabilities • Data selection and filtering

GoldenGate provides the ability to select or filter out data based on a variety of levels and conditions

• Column mapping • GoldenGate provides the capability to map columns from one table to another

• Data can be transformed between dissimilar database tables

• Mapping can be applied either when extracting or replicating data

• Functions

• GoldenGate provides the capability to transform columns by using a set of built-in functions (currently 35)

• Transformation functions can be applied either for Extract or Replicat

• If you require more, you also have the ability to call your own logic through user exits

Parameter Clause Selects

TABLE or MAP –— Table

WHERE Row

FILTER Row, Operation, Range

TABLE COLS | COLSEXCEPT Columns

25

• Capture, Pump, and Delivery save positions to a checkpoint file so they can recover in case of failure

GoldenGate Checkpointing

Capture Delivery Pump Commit Ordered Source Trail

Commit Ordered Target Trail Source

Database Target

Database

Begin, TX 1

Insert, TX 1

Begin, TX 2

Update, TX 1

Insert, TX 2

Commit, TX 2

Begin, TX 3

Insert, TX 3

Begin, TX 4

Commit, TX 3

Delete, TX 4

Begin, TX 2

Insert, TX 2

Commit, TX 2

Begin, TX 3

Insert, TX 3

Commit, TX 3

Begin, TX 2

Insert, TX 2

Commit, TX 2

Start of Oldest Open (Uncommitted) Transaction

Current Read Position

Capture Checkpoint

Current Write

Position

Current Read

Position

Pump Checkpoint

Current Write

Position

Current Read

Position

Delivery Checkpoint

26

Mecanismos de control – Gestión de Conflictos Integridad transaccional

• Checkpointing: GoldenGate mantiene checkpoints para cada acción. Determina cual fue la última transacción que se escribió al Trail. En caso de fallo, después de restaurar el sistema, gracias a este mecanismo vuelve a leer del log en la última transacción donde se realizó el corte. • Se realizan también checkpoints al Trail destino y al proceso de Delivery sobre la

DB destino. Resolución de conflictos

• Vía Golden Gate: el Timestamp de cada operación es el mecanismo principal que Golden Gate utiliza para la resolución de conflictos.

• Vía aplicación: en función de las reglas de negocio implementadas en la propia aplicación

• Trusted source: en función de privilegios asignados a los usuarios, direcciones IP, etc. • Combinación de algunas o todas las anteriores. • Integridad transaccional: la aplicación comprueba que las operaciones han sido

comitted y luego aplica algún otro criterio. • Para casos de Activo-Pasivo, dado que las transaccion son almacenadas en secuencia

serializada, el orden del log determina el orden de las transacciones a actualizar. (Nota: En una replicación Activo-Pasivo, nunca hay conflictos.)

Situaciones de Failover: • Sobre el servidor de Failover, se invierte la replicación de Captura-Entrega

27

Características de seguridad - I

• Encriptación • Option for encryption for data in extract file or trail • DDL - Support replication of passwords in DDL and their encryption by

means of a new PASSWORD option of DDLOPTIONS. • Data sent across TCP/IP

• Métodos de encriptación: • To encrypt trail or extract files, Oracle GoldenGate uses 256-key byte

substitution. All records going into those files are encrypted both across any data links and within the files themselves

• To encrypt the database password or data that is sent across TCP/IP, Oracle GoldenGate can use Blowfish encryption. Blowfish is a symmetric block cipher that can be used as a drop-in replacement for DES or IDEA. Oracle GoldenGate’s implementation of Blowfish can take a variable-length key from 32 bits to 128 bits.

• Use customer tool through user exits, performing encryption and decryption.

28

Características de seguridad - II

• Integridad transaccional • Original commit sequence is maintained by the delivery process

• Checkpointing: • Used during online change synchronization to store the current read and write position

of a process. Checkpoints ensure that data changes marked for synchronization are extracted, and they prevent redundant extractions. They provide fault tolerance by preventing the loss of data should the system, the network, or a GoldenGate process need to be restarted.

• Recuperación (Recovery) • Recovery ensures that no operations are skipped or duplicated after failure of any kind

• Bounded Recovery • A new Bounded Recovery feature has been added that guarantees an efficient

recovery after the Extract stops for any reason, planned or unplanned, no matter how many open (uncommitted) transactions there were at the time that Extract stopped, nor how old they were.

• Activity logging • The Activity Logging API consists of five subsystems, allowing the flexibility to record

application activity in a variety of formats, output destinations, filtering capabilities, etc.

29

Oracle Management Pack for Oracle GoldenGate Easy Management of Oracle GoldenGate Solutions

• Manages, defines, configures, and reports on Oracle GoldenGate components

• Key features: • Centralized management of

GoldenGate modules • Rich-client and Web-based

interfaces • Alert notifications and integration

with 3rd-party monitoring products • Real-time feedback • Zero-impact implementation

30

GoldenGate Director: Architecture Components

Director Server • Live connections to each

GoldenGate instance • Database central repository for user and GoldenGate

information

Director Client • GUI for creating custom

network views and accessing the services provided by the Director Server

Director Web • Browser-based UI that enables

remote monitoring and control of GoldenGate

Director Administrator • For configuring the Director

Server

31

Referencias

Algunas referencias

32

Referencias en España y Portugal Country Customer Sector Product Database

Spain Rcable Telecom GG Oracle 9.2.0.6 to Oracle 11g

Spain JumboTours Entertain. GG Oracle 11g to 11g

Spain Ayto Santa Lucia Public GG Oracle SE to MS SQL Server

Portugal Galp Utilities GG Oracle DB version from 9i to 11g

Portugal Banco Espirito Santo FSS GG SQLServer 2000 to SQL Server 2005 Oracle 9i to Oracle 10g

Spain Metro de Madrid Industrial GG Oracle 10g to 11g

Spain Telefonica e-mocion y T. Moviles

Telecom GG Oracle 9i to 11g

Spain RIU Hospitality GG Oracle

Spain Asesores Periciales FSS GG Oracle

Portugal Informa Media GG Oracle

Spain Asturiana de Zinc Industrial GG

Portugal EDP GG

Spain Conselleria de Trabajo Galicia

GG En desarrollo

33

Oracle GoldenGate Resumen de Golden Gate – Beneficios y Casos de uso

Resumen

34

GoldenGate – Principales beneficios aportados

No hay pérdida de datos Integridad transaccional

Mínima parada / Rendimiento 99.99% Uptime

No Intrusivo Muy bajo impacto

Soporte heterogéneo Database, Hardware, OS

Muy baja latencia / Tiempo Real Segundos, no batch

Alto Rendimiento / Altos volumenes Grandes volúmenes de datos

Flexibilidad Varias topologías

Decrecimiento del TCO Query offloading

Operación Contínua Continuidad de Negocio

35

Sales Executive para Soluciones de Integración de Datos

Mobile: +34 661 545 631 Work phone: +34 91 603 63 74 email: jose.mayol@oracle.com

Address: C/Jose de Echegaray, 6 - 28230 Las Rozas, Madrid

DIS Sales Executive – Jose A Mayol Sevilla

Data Integration Solutions

36