odi presentación

8/19/2019 ODI presentación

http://slidepdf.com/reader/full/odi-presentacion 1/45

Data Integrator 12cMoving Data to Transform Business

Joan MassegúConsultor y Técnico Preventa del Área de Business Analytics Webinar



Índice

© avanttic Consultoría Tecnológica, S.L.2

1 Introducción

2! Arquitectura de ODI 12c

3! Desarrollo con ODI 12c

4! Big Data con ODI 12c

5! Integración con otras herramientas

6!

Migración de OWB 11g (Warehouse Builder) a ODI 12c7! Actualización de ODI 11g a 12c

8! Conclusiones



Introducción

•!Pertenece a la línea de productos de Business Analytics

•!

Es la herramienta de integración de datos estratégica de O

3 © avanttic Consultoría Tecnológica, S.L.

Oracle Data Integrator (ODI) en el portfolio de Oracle

Data Integration Engineered SystemsPackaged Analytics

& EPM AppsData Analytic

Tools

!"#

%&'



Introducción


Necesidades actuales en la integración de datos

Cualquier Fuentede datos

Máximo rendimiento, Alta disponiblidad

Interna o enla Nube

Integrada, Alta productividad



Introducción

•!Procesos ELT para Data Warehouse / Integraciones ODS /

•!

BD Heterogéneas (cualquier origen/destino de datos), XML•!Real time Data Warehouse•! Con sus propios (KM’s) de soporte para CDC•! Mediante la integración con OGG (GoldenGate)

•!Diseñado para arquitecturas SOA: exponer y consumir dato•!MDM: linaje de los datos / análisis impacto de los cambios•! Alta disponibilidad sobre WLS•!Consolas monitorización infraestructura y ejecuciones•!Conectores para BigData•!Data Quality desde ODI e integración con EDQ


Principales características de ODI 12c



Índice


1! Introducción

2 Arquitectura de ODI 12c




6!


8! Conclusiones



Arquitectura de ODI 12c

•!Repositorios

•!

ODI Studio•! Agentes•!Componentes J2EE•!Management Pack


Componentes




•! Almacenados en esquema BD

•!Repositorio Master

•! Topología de la infraestructura IT•! Información de seguridad•! Objetos versionados y archivados

•!

Repositorios de trabajo (n)•! Estructuras de datos (Modelos)•! Proyectos•! Información de ejecución


Repositorios de ODI

()*+,-

12,'




•! Tipos Agente

•!

Standalone•!Collocated•! J2EE

•!Responsabilidades

•!Listener•!Scheduler

•!Procesos java ejecutándosepróximos al host de BD


Agentes ODI

Cualquier origen Cualqu

!"# 3&11

4"/5676/ .89:

ODI

Console

J2EE Agent

!"/5676/ .89:

Collocated Agent

;,</*6+/-6/

!"#

Cliente (Cualquier Plataforma)

!"

?

@A6,7+, B,C




•! Interface web

•!Monitorizar resultadosde ejecución

•! Lanzar procesos

•! Linaje y flujo de datos


ODI Console




•!Gestión y Rendimiento

•!Gestión Configuración

•!Gestión SLM

•!

Análisis histórico y reporting


ODI Management Pack



1! Introducción


3 Desarrollo con ODI 12c



6!


8! Preguntas y Respuestas

Índice




Desarrollo con ODI


Flujo de un proceso ELT

Definirtopología

Elegirestrategiade carga

Coordinartareasauxiliares(preprocesar

ficheros/ftp/!

Ejecución ySchedule

Modelo dedatos

(ing. inversa)

Desarrollarmapping

(transformación)

Orquestarflujo ELT

Validación



Desarrollo con ODI

•! Topología•!Designer

•! Data Model•! Proyectos

•! Mappings•! Packages•! Execution Plans•! Procedures•! KM’s

•!Operador•! Monitorizar estado ejecuciones•! Programación

•!Seguridad


ODI Studio



Desarrollo con ODI

Define•!Fuentes de datos

•! Origen•! Destino•! Staging

•!Modelos datos•! Lógico•! Físico

•!Contextos de ejecución

•! Agentes en nuestra infraestructura•!Repositorios ODI existentes


Topología

D I A g e n t_ D E S



Desarrollo con ODI

Modelo•!Describe conjuntos de Datastores

(Atributos, claves, filtros y condiciones)

•! Ingeniería inversa•!Define reglas integridad

(Estáticas/Flujo)

•!Configuración para CDC


Designer



Desarrollo con ODI

Contenido de un Proyecto

•!Variables, Secuencias•!Procedimientos•! Funciones•!Mappings (Interfaces)

•!KM’s

•!Packages

•! Load Plans


Designer

(DAE<A,* 6



Desarrollo con ODI

Plantillas de código especializadas en la ejecución de un tipo

•!LKM

•! IKM•!CKM•! JKM•!RKM•!SKM


Knowledge Modules (KM)



Desarrollo con ODI

•!Objetos ejecutables•! Mappings

•!Paquetes

•! Load Plans•! Procedures

•!Escenarios (Casos) •!Ejecución

•!Interactiva

•! Programada•!Simulación•!Ver resultado ejecución (Operador)


Ejecución de procesos ELT

D ll ODI



Desarrollo con ODI

Packages•! Define secuencia ejecución

•!

ODI Tools•! Mappings•! Procedimientos

Load Plans•! Definen el flujo de carga

•!

En serie•! En paralelo

•! Ejecuta escenarios•! Diferentes tipos de reinicio•! Ejecución parcial


Orquestar el flujo de datos

D ll ODI



Desarrollo con ODI

•!Objetos debugables•! Mappings

•!Escenarios

•! Procesos•! Paquetes

•!Sobre cualquier agente(sesiones en ejecución)

•!Ejecución paso a paso•!Edición sentencias SQL

•!Ejecutar código modificado


Debugger integrado

D ll ODI



Desarrollo con ODI

•!Dos modos de journalizing•! Simple

•!Consistente

•!Modelo publicación/suscripción•! Journal/Vistas•! Procesos de captura•! Suscriptores

•!

Dos implementaciones•! Análisis Log transacciones•! Triggers

•!ODI automatiza procesos•! Despliegue•! Control


Realtime Data Warehouse con Change Data Capture (CDC)

D ll ODI



Desarrollo con ODI

•!KM’s y Substitution API

•!SDK

•!Groovy scripts•! Puede utilizar comandos del SDK•! Automatizar la edición/ejecución objetos

•! Automatizar cambios masivos


Extendiendo/Personalizando ODI

Í di



1! Introducción



4 Big Data con ODI 12c


6!


8! Conclusiones

Índice


Big Data con ODI 12c




•! Integración de datos en Hadoop(Sistema ficheros local / HDFS / Hbase / BD SQL estándar)

•!Realizar validaciones y transformaciones de datos en Hado

•! Llevar los resultados obtenidos en Hadoop a otro almacén d(Oracle / BD SQL estándar / Hbase)

•!Disponible a partir de ODI 11.1.1.6•!Se licencia por separado


Application Adapter for Hadoop (ODIAAH)






M/5C-, 4K(: H-/<G*6+/ !-6L,7

ABC @29& 0. D2E& F(31(3 +(0.# +& 9.4(9 . DG@H &- 0(<9(# D2E& @29& #>#0&'

IBC D2E& F.-03.9 J77&-+ I-0&13( +(0.# &- D2E& &- '.+. 03%-4(0&K2-#&30 D2E& IBC D2E& L3(-#M.3' I-0&13( +(0.# &- D2E& %-( E&N 03(-#M.3'(+.# 4.- %- #43270

+&#(33.99(+. &- O&39KO>0P.-

D2E&

IBC @29&QD2E& 0. 63(49& !6ADQ

6HFD5

I-0&13( +(0.# +&#+& DG@H . D2E& &- 0(<9(# 63(49& @29& #>#0&'KD2E

IBC @29&QD2E& 0. HRA I-0&13( +(0.# +&#+& DG@H . D2E& &- 8G HRA @29& #>#0&'KD2E

IBC HRA 0. D2E&QD8(#&Q@29& I-0&13( +(0.# +&#+& 8G HRA &- DG@HKD<(#&KD2E& 8G HRA

IBC D2E& 0. D<(#& I-43&'&-0(9

S7+(0&

I-0&13( +(0.# +&#+& D2E& ( D<(#&/ 7%+2&-+. 3&(92N(3 2-#&30K

%7+(0&;

D2E&

ABC D8(#& 0. D2E& F(31(3 +(0.# +& D<(#& ( D2E& D8(#&

FBC D2E& T(92+(3 4%'792'2&-0. 3&#032442.-&# Q

?BC D2E& I-1&-2&3U( 2-E&3#( +& 0(<9(# D2E& Q

?BC D8(#& I-1&-2&3U( 2-E&3#( +& 0(<9(# D<(#& Q

KM’s incluidos en el Application Adapter for Hadoop (ODIAAH)

Índice



1! Introducción




5 Integración con otras herramientas

6!


8! Conclusiones

Índice


Integración con otras herramientas




•!Cualquier agente puede exponer

transformaciones de ODI como WS

•! Los agentes J2EE puedenexponer Data Services

•!Invocar Web Services yprocesar su respuesta


Arquitectura SOA





•!Funcionalidad EDQ

•! Profiling•! Validar direcciones•! Estandarización/Análisis Sintáctico•! Combinar y enriquecer registros

•! Integración EDQ con ODI•! A través de ODI Tools•! Monitorización estado jobs EDQ en Operador•! Disponible desde 11.1.1.6


Enterprise Data Quality (EDQ)





•!OGG transformaciones básicas “in-row” /ODI transformaciones complejas (lookups, ")

•!Rendimiento OGG optimizado al procesar microbatches con

•!Mismo mapping soporta bulk-loads y microbatches•!GG es menos invasivo que CDC


Oracle GoldenGate (OGG) para Real Time Data Warehouse

32

EMP DEPT

ODS Schema

Ora

Log-based, Real-time Data Feeds

EMP DEPT

Oracle GoldenGateSource OLTPSystem

trans2 trans1trans3

Batch Feed

Real-time Analytics

OracleData Integrator

& Data Quality





•!Podemos utilizar Journalizing de OGG sin reestructurar los •!Gestionar instancias Captura/Distribución OGG desde la top

•!Mantener parámetros configuración GG desde ODI

•! Interface gráfica despliegue procesos GG vía ODI


OracleGolden Gate (OGG)





•! Linaje de los datos

•! Análisis de impacto


Master Data Management (MDM) con OBIEE

Índice



1! Introducción





6 Migración de OWB 11g (Warehouse Builder) a ODI 12c7! Actualización de ODI 11g a 12c

8! Conclusiones

Índice


Migración de OWB 11g a ODI 12c



•!Porque" •! OWB 11.2 es versión terminal

•!“Premier Support” de OWB 11.2 finalizóen enero de 2015

•! La BD 12.x no incluye OWB en la instalación•! OWB 11.2 NO estará certificado en BD > 12.1

•!

Ahora•! Oracle provee utilidad de migración de OWB 11.2.0. x a ODI 1•! Rediseño filosofía desarrollo de ODI orientándola a flujo



¿Por qué, cuándo y cómo?





•!Gradualmente•! Integrando desarrollos OWB en los flujos ODI

•!Migrando automáticamente los proyectos OWB a ODI (utilida

•! Empezando a desarrollar en ODI los nuevos proyectos (y lo n


¿Por qué, cuándo y cómo?





•!ODI 12c incorpora tecnología “Oracle Warehouse Builder”

•!ODI 12c puede coordinarejecución mappings yworkflows OWB

•! Invocación vía ODI Tools

•!Resultados ejecuciónmappings/workflowsmostrados en “Operador”


Integrar desarrollos OWB actuales en ODI 12c

Índice



1! Introducción





6!

Migración de OWB 11g (Warehouse Builder) a ODI 12c7 Actualización de ODI 11g a 12c

8! Preguntas y Respuestas


Actualización de ODI 11g a 12c



g

•!Nomenclatura•! Filosofía de desarrollo

•!Dos implementaciones de KM: Template style / Component st

•! Desarrollo de mappings (interfaces en 11g) orientado a flujo•! Desaparecen interfaces temporales (amarillas)•! Aparecen reusable mappings•! Múltiples destinos en un mismo mapping

•! Agentes: +Collocated Agents, Standalone Agent administrad•!Conversión interfaces en mappings

•!Conversión de internal ID a Global Unique Identifiers (GUID


¿Qué ha cambiado?




g

•!Rendimiento•! Ejecución en paralelo automática

•!Ejecución tareas concurrentemente

•!KM’s para BigData (HDFS, Hbase, Hive) con SQOOP•!Seguridad (encriptación pwds, etc. en exportaciones)•!Soporte XML mejorado y añade JSON vía ODI Complex File•!Debugger paso a paso

•!Incorporación de tecnologías Oracle a la topología

•! Golden Gate•! Warehouse Builder

•! Interface desarrollo orientada a flujo


Nuevas funcionalidades




g

•!Modos ejecución ODI 12c•! Mappings nativos 12c

•!Compatiblidad 11g

•!Como generar mappings en modo compatibilidad•! Activando opción en la utilidad de actualización•! Mediante una opción antes de importar un mapping

•! Todos los módulos se ejecutan de la misma manera

•!Es posible convertir mappings compatibles 11g a 12c


Modo compatibilidad

Índice



1! Introducción


3!

Desarrollo con ODI 12c



6!


8 Conclusiones


Oracle Data Integrator 12c



•!ODI 12c es una inversión segura•! Consolida la experiencia de OWB y ODI para ofrecer elevada

productividad•! Amplia cobertura funcional, pero extensible y costumizable•! Alta disponibilidad, monitorización

•!Preparada para el presente " y el presente inminente

•!

Conectores Big data•! Real time (CDC, OGG)

•!Momento para migrar de OWB 11g a ODI 12g


Conclusiones



Joan

Para más información contacte con nosotros a través de co


MADRIDPaseo de la Castellana, 135, 7ª

28046 MadridTel. 91 116 17 89

&9 7(30-&3

odi presentación

Documents