presentación de powerpointblog.uclm.es/aulasmactavanttic/files/2016/03/1... · integration....

19/02/2016

Tecnología Oracle

Guillermo SollaFusion Middleware Solution Architect

Fast Data

avanttic_day 19-02-2016

Arquitectura

2 © avanttic Consultoría Tecnológica, S.L.

4ª Generación de Big Data

Fast Data

Events Actions

1 2 3

Streams

Data Management

Reservoir Factory Warehouse

Results

People

Data Services

Smart Things

Apps

Packaged

Custom

BusinessAnalytics

Visualization

Reports

Execution

InnovationData Lab

Data ScienceDiscoveryData Sets

DataIntegration


Fast Data

• Conceptos y origen

• Internet of Things (IoT)

• EDA

• Aplicaciones Basada en Eventos


Índice


Problema


A resolver!

% de ejecutivos aleganque la informacióncrítica llega demasiadotarde…


Fast Data



• EDA



Índice


¿Qué es Fast Data?

“Fast Data es la habilidad para procesar gran cantidad de datos

en tiempo real”


Conceptos (I)

BIG DATA

FAST DATA




Conceptos (II)

Concepto Descripción

EDA (Event Driven Architecture) Tipo de arquitectura empresarial que permite tiempo real sobre la generación, detección, procesamientoy consumo de eventos de negocio para identificar y reaccionar a oportunidades, amenazas o anomalias.

Evento Un cambio de estado que indica una oportunidad, amenaza o anomalia, o simplemente una notificación.

Event Processing Network (EPN)

Arquitectura sobre la cual modulos de procesamiento de eventos se interconectan usando adaptadores, canales, flujos, caches y escuchadores para realizar una serie de tareas basadas en el resultado del procesamiento de datos individuales o en grupo.

Complex Event Processing (CEP)

Procesado de un conjunto de eventos cercanos durante sobre unaventana de tiempo para buscar patrones complejos y correlacionesque puedan inferir oportunidades, amenazas y anomalias.

Oracle Event Processing (OEP)

Solución de Oracle basada en CEP para el tratamiento de Eventos



1. Big Data ≠ almacenamiento

infinito

Sí, el almacenamiento es barato

pero ayuda tener datos de

calidad. Eliminar la duplicidad y

la redundancia.

2. Hadoop es tecnología batch e

introduce latencia. Los mejores

sistemas tardan minutos en

procesar enormes volúmenes de

datos.


Big Data



1. Filtramos los datos

redundantes y duplicados.

Enriquecemos la información.

Aumentar relevancia y priorizar

2. Identificar condiciones críticas

antes de almacenar los datos

en el repositorio

Mover las decisiones críticas de

análisis al principio del proceso


Decidir al inicio

Usando Técnicas de Procesamiento de Eventos




ms vs. min

Histó

rico

peq

ueñ

o

Histó

rico gran

deBúsqueda de

criterios concretos para detectar anomalías en tiempo real

Análisis histórico para detectar patrones y planificar mejoras




Valor del Dato en el tiempo

Tiempo

Val

or

de

Ne

goci

o

Actuarahora

HOTPlanificar

mantenimiento

WARMPlanificar

siguientes pasos

COLD


¿Cómo nace Fast Data?

Fast Data nace de ideas y tecnologías maduras

• Procesamiento rápido de datos

• Análisis de información en tiempo real

• Ejecución de acciones en tiempo real

Nace en el sector financiero (bolsa de valores) y se refuerza con implementaciones

basadas en EDA (tal y como Hadoop reforzó Big Data)

Necesidad de obtener:

• Nuevos servicios

• Mejorar la experiencia de usuario

• Aumentar la eficiencia

• Operaciones de mayor calidad

Se extiende con la llegada de IoT


Orígenes (I)



Dos razones por las cuales Fast Data está creciendo y asentándose:

1. Necesidad de tratar de forma más rápida y eficaz el constante crecimiento del

volumen de datos de cada vez más sectores de la industria.

2. El incremento del número de dispositivos “conectados” promovidos por IoT

(Internet of Things)

Hay cada vez hay más dispositivos. Se prevé que en los próximos 5 años el

número de dispositivos se multiplique x22

“Fast Data es la evolución natural derivada de Big Data”


Orígenes (II)




Predicciones de incremento sobre IoT

Source: BI Intelligence Estimates


Fast Data



• EDA



Índice


IoT


Internet of Things is Here

Automatismos Industriales Automovilismo/Telemática

SanidadMonitorización del medio ambiente

• Monitorizar las condiciones de la tierra, agua y aire• Información bajo demanda en tiempo real• Gestión energética

• Control de zonas y edificios• Manufacturación• Logística y distribución• Ciudades inteligentes

• Control de flota• eCall (seguridad)• Diagnóstico remoto• Control del tráfico

• Diagnóstico remoto• Monitorización en remoto• Ayuda en Emergencias• Cuidado de ancianos

Gestión energética

• Balanceo de oferta y demanda• Dispositivos de consumo de energía• Dispositivos controlados de forma remota• Dispositivos gestionados desde cloud

Control de Infraestructuras

• Monitorizar puentes , vías, plantas agrícolas• Controlar eventos y situaciones en estructuras• Gestión de incidencias y reparaciones• Reducir costes de operación


IoT


Elevador estropeado

Elevador se rompe

Operadorcomprueba

qué le pasa al elevador

Operadorrellena

papeleo

Alguienregistra la

incidencia ensu sistema

Supervisor crea la ordende reparación

Elevadorreparado

0 hr 1 hr 6 hrs 18 hrs 24 hrs 48 hrs

Elevador se rompeo está apunto de

romperse

Elevadorreparado

Con el Elevador conectado a IoT e integrado con el Sistema de ticketing existente

IoT Cloud Service analiza los datos

operacionalespara detectar

anomalias

El tiempo es dinero

Se genera unaorden de

reparación o mantenimiento


From…

Things connected to the Internet


www.


to…

The Internet of Things



IoT


Dos mundos interconectados

CXSERVICEMGMT

SCM

ERPCRM HCM

OTM CLM EPM

TOA PLM EBS

AplicacionesDisp. IoT Oracle IoT

Conectar Analizar Integrar


Fast Data



• EDA



Índice


EDA


Vista conceptual

• Rapidez de respuesta e información: Eventos

• Informar, tomar decisiones y actuar


EDA


Capacidades

Engineering

Event Distribution and Response

Event Generation, Detection and Capture Monitoring and Management

Event Processing

Sensing

EnrichmentFiltering

Query Language

Adaption

Testing

Reception

Correlation

Usage Tracking

Generation

Subscription

Caching

Broadcast

AggregationPattern

Recognition

Modeling

Routing

Splitting

Processing Networks

Transformation

Channels

Dashboards

Event Repository

Metadata Management

Event Search and Discovery

Alerts

Analytics

Reporting

Exception Management

Business Process Control

Recording PlaybackLanguage Extension

PredictionPartitioningBatching Lineage


EDA


Principios

• Event driven systems must be loosely coupled.

• Event driven systems must be standards based.

• Business events must be discoverable.

• EDA must be designed to support interoperability and must

complement existing technologies.

• Events must be captured and processed at the most granular level.

• EDA must focus on supporting and handling business events.

• The architecture must be modular and must support extensibility.

• Event Driven Architecture must enable low latency processing and be

able to support processing of high volume of events.

• Events that are sensitive must only be made available to the

appropriate systems/users.


EDA


Arquitectura Basada en Eventos


Fast Data



• EDA



Índice


Aplicación basada en Eventos


IoT, Fast Data y Big Data

Internet

Se recopila y agrega información sobrecada parkimetro individual para buscarespacios libres en la ciudad

Muestra informaciónen tiempo real sobreplazas, precios, etc.

WifiMax/ Wifi

Sensores monitorizan el tráfico. Gateway recogeinformación de los sensoresa intervalos reguales.

Gateway agrega los datos de tráficopara dar visibilidad de sitios disponiblesy envía esta información al Centro de Control.

M2M Enterprise Server

•Autenticar y autorizar las comunicaciones entre parkimetros/gateways/cámaras y las aplicacionesempresariales

•Permitir configuración enremote y monitorización

•Actualización de precios enremoto

Complex Event Processing (CEP)

Big Data

BBDD

AplicaciónDe control del

Tráfico

SOA, BAM & Orquestación de

Procesos

Información de Parking y Tráfico es enviado para identificar patrones que necesitan acciones inmediatas(Parking lleno, accidentes, colapsos, etc.)

Eventos clave son identificadosy enviados para procesamientoadicional

Automatización y Monitorización de procesosclave (Actualización de precios, desvío del tráfico)

Análisis Big Data para extraerpatrones históricos

2

3

4

5

6

7

7

8

Gateway

Disponibilidad de Tráfico de toda la ciudad y patrones de congestion del tráfico

8

1

Dominio Dispositivos Dominio EmpresarialISP

Wifi

Sensoresen el propio

Parking

Cámaras deSeguridad de

Tráfico

Parkimetros

Red dedicada


Aplicación basada en Eventos


Visión Oracle: On-premises

Embeddable, transactional storage engine written entirely in Java. With Data Synchronization.

As on Device

DEVICE GTEWAY NEWORKCLOUD

APLICACIÓN IOT

MIDDLEWARE

DATABASE

ENGINEEREDSYSTEMS

DISPOSITIVOS DATA CENTERNETWORK

CLOUD

XML, Security, Web Services, File i/o, Messaging, Location,

Oracle Java

Embedded

Suite

Event

Processing

ANALYTICS

GATEWAY

avanttic_day 19-02-201629 © avanttic Consultoría Tecnológica, S.L.

Visión Oracle: Cloud Services

Implementación en cloud


Integración de Aplicaciones


IoT


Integración de Aplicaciones


IoT – Visión Oracle


Dispositivos

Java embedded


Java embedded


Dispositivos conectados a día de hoy

• RFID Lectores

• Parkimetros

• Módulos de control de energía

• Módulos Wireless

• Wearables (pulseras y relojes)

• Routers y Switches

• Dispositivos de almacenamiento

• Sistemas de red complejos

• Cadenas de montaje

• Sistemas de seguridad

• Sensores inteligentes

• Impresoras multifunción

• Cajeros automáticos (ATMs)

• Sistemas de entretenimientodurante el vuelo

• Sistemas de votación

• Diagnóstico remoto


Java embedded y OEP


OEP

• Funciona en dispositivos capaces de ejecutar Java SE Embedded

• Componente clave en IoT• Versión más pequeña y ligera

de OEP• Mismo paradigma de

programación J2EE-OEP• Optimizado para Dispositivos

y Gateways• Elimina aquellas señales

consideradas como ruido salvando ancho de banda hacia el servidor


Oracle Event Processing

Oracle Complex Event Processing (OEP)


OEP


Arquitectura

Gran Throughput

Cientos de miles de eventos x segundo

JVM

JRockit, JRockit Real Time o Sun

Herramientas basadas en Eclipse

Plugins para Desarrollo de aplicaciones EDA

Entorno de desarrollo sencillo

Spring Framework, POJO

Infraestructura de Procesado de Eventos

CEP Engine

Adaptadores, constructores, servicios, etc.

Streaming de eventos críticos

Lenguaje de programación conocido

Servidor de aplicaciones ligero

Entorno completo para construir y ejecutaraplicaciones completas

Servicios communes de logging, seguridad, etc.

Advanced Tooling

Late

ncy

An

alyz

er

JRockit Real Time JVM

Extended Event Infrastructure

Core Event Infrastructure

Oracle Event Stream Processor Real Time Kernel

Oracle Complex Event Processing

Foundation Services

Config/Admin

Security Logging

Event Infrastructure

Complex Event Processing

Stream Management

Real Time Kernel

App Frameworks

POJO Spring Services

Core Event Infrastructure

Complex Event Processor

Stream Management

Real Time Kernel

ClusterManagement

DataCaching HTTP

Pub/Sub EngineEvent

Repository

Foundation Services

Config/Admin

Coherence Logging & Administration

App Frameworks

Spring ServicesJDBCPOJO


OEP


Modelo de programación


OEP

Procesado de datos de forma continua, filtrado, correlacionado, cálculo,

agregación, identificación de patrones, detección de eventos perdidos,

análisis espacial, etc.

integración con datos de diferentes orígenes (DB, Coherence, NoSQL,

Hadoop, etc.)


Modelo de programación


OEP


Diseño

StreamsOrigen de elementos (s, t)

ChannelsContenedor de elementos (s, t)

Filtrar/Procesar/TransformarOracle CQL procesa en tiempo real datos de forma individual o dada una ventana T


Oracle Complex Event Processing (CEP)


Queries CQL

Filtrar eventos que cumplan un cierto criterio.

Calcular métricas en tiempo real

Media de los dos últimos eventos disponibles


Oracle Complex Event Processing (CEP)


Queries CQL

Ejemplo: patrón ‘W’ en bolsa de valores

1 9 12 19

minutes

XY W

Z

CAT CATERPILLAR D 22.5 600 20080305 10:03:03:46

DO DUPONT D 41.575 3000 20080305 10:03:04:12

AA ALCOA INC D 20.125 1000 20080305 10:03:01:55

AXP AMER EXPRESS CO D 45.875 500 20080305 10:03:02:10

BA BOEING D 77.575 800 20080305 10:03:02:78CAT CATERPILLAR D 22.5 600 20080305 10:03:03:46

DO DUPONT D 41.575 3000 20080305 10:03:04:12

AA ALCOA INC D 20.125 1000 20080305 10:03:01:55


BA BOEING D 77.575 800 20080305 10:03:02:78

CAT CATERPILLAR D 22.5 600 20080305 10:03:03:46

DO DUPONT D 41.575 3000 20080305 10:03:04:12

AA ALCOA INC D 20.125 1000 20080305 10:03:01:55


BA BOEING D 77.575 800 20080305 10:03:02:78

BA BOEING D 77.575 41.575

800

20080305 10:03:02:78

DO DUPONT D 41.575 3000 20080305 10:03:04:12

COMPLEX QUERIES

• Buscador de Patrones – Mediante el uso de queriescomplejas se pueden detectar situaciones beneficiosas para el negocio (pudiéndose llegar a parametrizar para actualizarlas en tiempo real)


Continuos Query Language


Optimizado para procesamiento en memoria

Track a bus on a map

Determine when the bus

is near the bus stop

Big Data Extensions

Includes Coherence

CQL Pattern Templates

For Pattern Matching

EDN Integration to SOA

High Performance Spatial Processing




Administración y Monitorización (I)




Administración y Monitorización (II)


OEP


Arquitectura

BAM


OEP


Arquitectura escalable

Processor1

Processor2

Processor3

Inbound Channel Router

Server1

Server2

Server3

Outbound Channel

IS1

IS2

IS3

OS1

OS2

OS3

IS => Input Stream

OS => Output Stream

IS1+IS2+IS3OS1+OS2+OS3


OEP


Arquitectura escalable y HA

Processor1

Router

Primary Server

Secondary Server

Adapter

Outbound Channel

Queue

Scalable Server Group1

Processor1 Adapter

Processor1

Primary Server

Secondary Server

Adapter

Queue

Scalable Server Group2

Processor1 Adapter

IS1

IS2

IS1+IS2

Inbound Channel

OS1

[OS1]

OS2

[OS2]

OS1+OS2

IS => Input Stream

OS => Output Stream

[xx] => Backup Stream


Acceso en Grid de Memoria

Coherence


Coherence


Acceso en Grid de Memoria

• Oracle Coherence

proporciona datos

bajo demanda

• Permite escalar el

Grid de middleware

con hardware de bajo

coste


Fusion Middleware

Oracle SOA & BPM


Fusion Middleware

Oracle SOA & BPM

Elevador se rompeo está apunto de

romperse

Elevadorreparado

Generar una instancia de proceso BPM que solicite la aprobación de la reparación.

IoT Cloud Service analiza los datos

operacionalespara detectar

anomalias

El tiempo es dinero

Se genera unaorden de

reparación o mantenimiento


Business Activity Monitoring


BAM

• Monitorización de procesos de negocio y servicios en tiempo real

• Key Performance Indicators (KPIs)

• Service-Level Agreements (SLAs)

• Análisis de eventos en cuanto aparecen

• Enlazar eventos & KPIs

• Identificar tendencias

• Alertar a usuarios de problemas

• Actuar según las condiciones

• Event-driven alerts

• Real-time dashboards

• BPEL processes & web services integration


Fusion Middleware

Oracle SOA & BPM

Control de procesos

Extracción de métricas y consolidación de KPIs

Control de servidores

Control de EPN


ICS, PCS, DOCS

Oracle Cloud Services


Conclusiones


Fast Data

Ya sea On-premises o en Cloud, Oracle nos permite implementar una solución incorporando los dos paradigmas de Fast y Big Data para implantar soluciones de IoT

el partner


[email protected]

© avanttic Consultoría Tecnológica, S.L.

BARCELONA

Aragó 182, 4ª planta

08011 Barcelona

Tel. 93 151 84 51

MADRID

Capitán Haya 38, 6º B

Edificio Cuzco II

28020 Madrid

Tel. 91 116 17 89

presentación de powerpointblog.uclm.es/aulasmactavanttic/files/2016/03/1... · integration....

Documents