click to add text ibm websphere mq advanced: managed file transfer (mft)

76
IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

Upload: adalina-villaflor

Post on 10-Feb-2015

60 views

Category:

Documents


17 download

TRANSCRIPT

Page 1: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

Page 2: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

2

Agenda

• WebSphere MQ• WebSphere MQ MFT• Componentes WebSphere MQ MFT• Escenarios de Instalación• Transferencia de Archivos• Instalación / Configuración• WebSphere MQ Explorer• Comandos Básicos

move information

move information

move information

move information

move information

move information

move information

Page 3: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

3

WebSphere MQWebSphere MQ

Page 4: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

4

WebSphere MQTransporte para los activos, tanto orientadas a servicios y no de servicios orientados a TI

WebSphere MQ moves:– Data– Mensajes– Eventos– Archivos– Web service Requests– Web service Responses

7 claves para la Conectividad SOA

Confiable - probada y fiable Ubicua - conectar prácticamente cualquier cosa Bases para la ESB - apoya y extiende Incremental - crece con las necesidades Seguro - protege los datos finales Tiempo flexible y resistente - cada vez que conecte Transaccional - preserva la integridad de los datos

Page 5: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

5

¿Qué es WebSphere MQ?• Puente probado entre componentes de

la Arquitectura Orientada a Servicios (SOA)

• Puente fuerte, que amplia con firmeza los vínculos de las aplicaciones y servicios Web

• Se conecta a casi cualquier sistema de TI comerciales

• Ayuda a las empresa a compartir e intercambiar información crítica de forma confiable y segura

Page 6: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

6

¿Por qué es un reto? Mover datos a través de diferentes sistemas, plataformas y dispositivos cuando el HW, SW y

configuraciones de modelos de programación son diferentes Superar las fallas de la red Entregar información cuando la aplicación destino no está conectado o está ocupado Garantizar la integridad de la transmisión y recuperación Datos perdido y / o datos duplicados Garantizar una conexión segura Asegurar que las transacciones sea completadas Aplicar las cualidades de servicio basados en las necesidades, por ejemplo, entrega

asegurada, entrega rápida Administrar una sesión (petición / respuesta) Distribución eficiente de los eventos Manejar escala de volúmenes Datos de diferencia de formatos Determinar qué datos enviar Auditoría de envió qué, dónde y cuándo

Page 7: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

7

Proporciona servicios de mensajería a las aplicaciones y servicios web que necesitan intercambio de datos y eventos con:

-Fiabilidad probada-Integridad transaccional-Coherencia-Tiempo de independencia-Facilidad y velocidad-Flexibilidad-De alto rendimiento-Seguridad-Escalabilidad-Auditabilidad

Aplicación BAplicación A

WebSphere MQ

¿Qué puede hacer WebSphere MQ?

Page 8: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

8

Qualities-of-Service Delivery Styles

Transactional

Persistent

At-least-once

Best-Effort

Fire-and-Forget

Request-Reply

Replay

Guaranteed

At-Most-Once

Client-Server

Backbone

Point-to-Point

Peer-to-Peer

Publish/Subscribe

Grid

Bus

Fastest speed

Multicast

Lowest Latency

Unicast

Skills

Languages

Mindsets

Orientations

COBOL, C/C++, RPCJava, JEE, JMS.NET, C#, VB, WCFAJAX, Perl, Python…

ServiceBatchFilesMessageResource…

WSDL, XML, WS-*REST, MEST, KISS

End-Points

Vendor Platforms

Applications

Operating Systems

Devices

Web services

Web 2.0

JEE, .NET, etc

Exploitation & Support

SAP, Siebel, etc…

Mobile, Wireless, PoS,Sensor, Actuator, RFID…

AppliancesHTTP, AJAX, REST,…

SOAP, WSDL, WS-RM, WS-N…

Familia IBM WebSphere MQ

Page 9: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

9

Conectividad WebSphere MQ

HP-UX Windows zLinux Solaris AIX i5OS NSS OVMS

WebSphere MQ puede reducir dramáticamente los costos de infraestructura de aplicaciones al proporcionar una única infraestructura manejable distribuida para todas las aplicaciones de tráfico de mensajería

zOS Linux

WebSphere MQ

MQ Interface

COBOL, C, C++, RPG, …others.

JMS

Java / JEE

XMS

C, C++, .NET C#

.NET (C#)

Microsoft®

SOAP

Web Services

Otras Interfaces

HTTP, FTP, …

Multiple APIs

Características: WebSphere MQ soporta la más amplia gama de APIs, lenguajes de

programación y plataformas de sistemas operativos Proporciona el único motor de JMS que se puede implementar en

"cualquier" servidor JEE compatible con los estándares Provee servicios de interfaces web para clientes que necesitan una

entrega fiable de mensajes SOAP Ofrece una amplia gama de calidades de servicio y métodos de

mensajería, incluyendo el de publicación / suscripción Soporta monitores de transacciones importantes y administradores de

bases de datos Ofrece el más escalable, sistema de mensajería manejable

disponibles Garantiza la entrega de mensajes transaccionales de extremo a

extremo.

Page 10: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

10

Componentes WebSphere MQComponentes WebSphere MQ

Page 11: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

11

Message Un mensaje es considerado como la unidad de datos de intercambio entre una aplicación a otra Un mensaje es construido por una aplicación Un mensaje es consumido por una aplicación diferente

Los mensajes puede contener cualquier tipo de datos:Datos binariosVídeo, una canción, una fotografía ...Datos de textoRaws TextXMLDatos estructurados (C Structures, COBOL Copybook, Serialized Java objects)Datos de aplicación

Page 12: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

12

Queue Los mensajes se entregan de forma asincrónica a una cola Un lugar para contener mensajes Creación de la Cola

Predefinida Definición dinámica

Acceso a mensajes de FIFO (first in first out) Prioridad (FIFO dentro de la Prioridad) Directo Destructivos y no destructivos

Acceso paralelo por las aplicaciones Gestionado por el gestor de colas

Page 13: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

13

Queue Manager

Un queue manager es un programa del sistema que proporciona servicios de cola a las aplicaciones.

LOGPUT GET

Messaging& Queuing

Operating System & Storage

Communications

Utilities

ListenerCommand Server

Trigger monitorChannel Initiator

Windows Explorer

Applications

Operating System• Timers• Semaphores• ECBs• Memory• ...

Page 14: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

14

Channels

Un canal es un enlace de comunicación utilizado por los queue manager

Los canales son los objetos que proporcionan una vía de comunicación de un queue manager a otro

Los canales son utilizados en gestión de colas distribuidas para mover los mensajes de un gestor de colas a otro

Sirven para proteger las aplicaciones de los protocolos de comunicación subyacentes

Page 15: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

15

Manage File TransferManage File Transfer

Page 16: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

16

Managed File TransferSolución de software que facilita la transferencia segura de datos de un equipo a otro, a

través de una red (por ejemplo, Internet).

Soluciones MFT se han construido utilizando la red sobre el protocolo FTP. Sin embargo, el término describe específicamente soluciones que corrigen las desventajas asociadas con FTP.

Por lo general, MFT ofrece un mayor nivel de seguridad y control de FTP. Las características incluyen la presentación de informes (por ejemplo, la notificación de las transferencias de archivos con éxito), no repudio, auditabilidad, visibilidad global, la automatización de las actividades relacionadas con la transferencia de archivos y procesos, seguridad de extremo a extremo, y las medidas de rendimiento / seguimiento.

http://en.wikipedia.org/wiki/Managed_file_transfer

Page 17: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

17

Capacidades de un Managed File Transfer

AuditableRegistros de auditoría completo y detallado del ciclo de transporte del archivo

"¿Qué pasó, dónde, cuándo y a quién"

ConfiableArchivo con contenido no dañado o parcialmente enviados

Los archivos sólo aparecen en el destino entero e intacto

SeguroArchivos cifrados durante la transmisión del mismo

Archivo con control de acceso

AutomatizadoElimina la necesidad de detectar problemas y reiniciar manualmente las transferencias

Proporcionar programación y la activación de transferencias por eventos

Centralizado Control remoto y supervisión de progresos de archivos desde cualquier lugar

Flexible

Capacidad de desplegar y re-configurar de transferencia de archivos de forma instantánea desde cualquier lugar

Gestión de transferencias end-to-end a través de la red, no sólo entre dos puntos

Cualquier tamaño No hay límite en tamaño del archivo que se puede transferir

Integración Con infraestructura SOA: Mensajeria, ESBs, Governance, B2B y BPM

Efectivo Proporciona un transporte consolidado para mover los archivos y mensajes

Page 18: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

18

WebSphere MQ MFTWebSphere MQ MFT

Page 19: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

19

WebSphere MQ File Transfer Edition (MFT) Agrega servicios gestionados de transferencia de archivos con WebSphere MQ Incorpora una capa empresarial "Delivery Service" confiable, seguro y auditable Sustituye a costosas soluciones, hechas en casa que carecen de controles de gestión

Capacidades de transferencia de archivos Cualquier tamaño del archivo (Kb, Mb, Gb, Tb ...) Alto Rendimiento

Entrega confiable sobre MQ Character set conversion entre plataformas

Garantizado el 100% de integridad Estándar SSL Security

Herramienta gráfica de gran alcance Soporta múltiples plataformas

No hay necesidad de programación Multi-proposito, transporte tanto de mensajería y archivos

Registro de auditoría Secuencias XML de comandos para la automatización de trabajos distribuido

A B C X Y Z

WebSphere MQ File Transfer Edition

Page 20: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

20

Transferir el archivo de A a Z

WebSphere MQ File Transfer Edition

FTP Básico IBM Managed File Transfer

A ZA B Zftp ftp

Cftp

ftp another.pdf sysftp this.doc thereftp –i myfile.mft bftp that.jpg hereftp –I myfile.mft bftp go.where serverftp here to there

ftp another.pdf sysftp myfile.mft cftp –i myfile.mft bftp that.jpg hereftp –I myfile.mft bftp go.where serverftp stuff somewhere

ftp another.pdf sysftp this.doc thereftp –i myfile.mft bftp that.jpg hereftp –I myfile.mft bftp f2.pdf zftp it now please

Necesidad de ubicar los registros FTP en cada máquina Necesidad de encontrar cada entrada correspondiente a registros para cada paso en la transferencia, normalmente a través de una mezcla de plataformas en equipos remotos que no tienen permiso para acceder ¿Cómo se puede estar seguro que ninguna de las transferencias se ha realizado parcialmente?

En un simple click se despliega la transferencia de archivo actualizando los registro de auditoría de transferencia de A a la Z, independientemente de las máquinas de de por medioLa integridad del archivo se conserva a lo largo de la transferenciaProgreso de extremo a extremo de transferencia

Page 21: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

21

Cambiar el camino de la transferencia

ftp –i myfile.mft b

ftp myfile.mft c

get f1.txt c f2.pdf

Buscar las secuencias de comandos FTP en cada máquina Actualizar cada secuencia de comandos Requiere habilidades específicas de la plataforma A menudo no tienen permiso para acceder a cada máquina

Un simple click despliega la transferencia de archivos actualizando de forma remota cualquier lugar a través de la red de transferencia de archivos Interfaz gráfica, la línea de comandos o secuencias de comandos XML Control centralizado, no se requiere acceso directo a las máquinas No se requiere habilidades de plataforma No se requiere conocimiento de topología de red

WebSphere MQ File Transfer Edition

FTP Básico IBM Managed File Transfer

A ZA B Zftp ftp

Cftp

Page 22: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

MQ MFT Agent

DatabaseLogger

Central Management Tool

MQ network

Agent QM MQ MFT Agent

MQ network

1. Send file data 2. Receive file data

Command/Coordination QM

MQ Server

MQ network

events/commands events/commands

Escenario usual

Page 23: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

23

Simplificación traducido en Ahorro

+Messaging

Alto costo en construcción y el mantenimiento de dos infraestructuras para mover datos en la empresa

Reduce los costes con un único transporte consolidados por concepto de archivos y mensajes

= Re-uso de la plataforma Ahorros operativos derivados de la simplificación Reducir esfuerzo de administración, en el uso de

herramientas para gestionar una solución completa

Reduce requisitos de habilidades y mantenimiento

File Transfer

WebSphere MQ File Transfer Edition

Page 24: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

Graphical Eclipse-based MQ Explorer

Command Line Interface

Job Control Language (JCL)

XML Scripts using Apache Ant

Alternativas de administración

Page 25: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

25

Componentes WebSphere MQ MFTComponentes WebSphere MQ MFT

Page 26: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

26

Conceptos BásicosAgentRealiza operaciones reales de transferencia de datosAcoplado a un administrador de cola WMQExisten dos tipos:Agente de servidor (Se conecta a través de memoria compartida)Agente de cliente (se conecta a QM a través de TCP/IP)

Agent Queue ManagerHost para las colas de los agentesMuchos agentes pueden compartir el mismo gestor de colasProvisto como parte de un servidor WMQ/MFTPlataformas distribuidas solamente (por separado en z/OS)

Coordination Queue ManagerRecolecta información de:Definición de agentes MFT

Progreso de las transferencias de activosHistoria de transferencia de archivos

Debe estar configurado en la misma versión de los agentesDebe existir al menos un WMQ MFT instalado

Command Queue ManagerEjecutar comandos administrativos sobre los Queue Manager

QM

WMQ Pub/SubBrokerSYSTEM.MFT/# Topics

Page 27: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

27

Arquitectura multi-hilo para mayor rendimiento y escalabilidad Altamente eficiente WMQ basado en I/O con control total en ejecución Desarrollado en base a eventos Los agentes pueden conectarse a través de enlaces (Server) o utilizando el soporte de canal de cliente Aprovecha publicación MQ e infraestructura de transferencia y progreso Los agentes pueden ser interfaces para cualquier aplicación de usuario autorizado

Arquitectura de Agent WMQ MFT

Page 28: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

28

(Handshake)

(Message data)

(Acknowledgement)

(Completion)

Age

nte

Orig

en

Message data / AcknowledgementSecuencia se repite tantas veces como sea necesario para transferir el archivo de datos

Mensaje Persistente

No-Persistencia de MensajeKey

Como funciona la transferencia

Age

nte

Des

tino

Page 29: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

29

Interrupciones en la transferencia

(Message data)

(No Acknowledgement!)

(Tell me when you’re back)

(Hi? Are you there?)

(Silence…)

Agente no disponible

(Message data)

Agente disponible(I’m back!!)

Mensaje Persistente

No-Persistencia de MensajeKey

Age

nte

Orig

en

Age

nte

Des

tino

Page 30: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

30

Ciclo de Vida de la transferencia

Started Waiting

Ready

Awaitingpeer

In progress

Complete

peer busy

selectedtimeout

negociación*

timeout peer ready

timerpops

all datatransferred

Queued

Nueva solicitud de transferencia(no capacity free)

Nueva solicitud de transferencia(capacity free)

* Negociación sólo tiene lugar por primera vez a través de la transición

Page 31: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

31

Protocolo de transferencia puede ser ajustados por las propiedades del agente especifico:

• Tamaño de los mensajes transmitidos (chunks)

• Frecuencia de reconocimiento, así como cantidad de datos en la cola (windows)

• El Punto de transmisión se bloquea hasta que se recibe un acuse de recibo (frame)

• Frecuencia el agente actualiza el estado (in frames)

Administración del Buffer WMQ MFT

Frame (Check-Point) Window Chunk(WMQ Message)

Page 32: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

32

• Aplicaciones Java MQI

• Transfiere archivos con MQ

• Los archivos son transferidos desde / hacia

• Transferencia de archivos multi-hilos

• Puede enviar y recibir múltiples archivos al mismo tiempo

– Configurables por defecto = 25

– Cada agente se asocia con un Queue Manager

– Un gestor de colas puede alojar varios agentes

• Cada agente controla su propia cola de solicitudes de trabajo

Agents

WebSphere MQ Network

SYSTEM A

AGENT

SYSTEM B

AGENTAGENT AGENT

Page 33: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

33

• Instruir a los agentes. Por ejemplo, para iniciar o cancelar una transferencia

• Uso de mensajería MQ para transmitir las instrucciones

• Administración de Queue Manager

• GUI o línea de comandos

Commands

WebSphere MQ Network

AUTOMATION

OPERATIONS

SYSTEM A

AGENT

SYSTEM B

AGENTAGENT AGENT

Page 34: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

34

• Actúa como un punto de recolección para seguimiento y registro de datos

– ¿Cómo están las transferencias progresando?

– ¿Qué archivos se transfieren?

• Queue Manager realiza el logging / Monitoring a través del Coordinator Manager, sin de degradar performance

• Utiliza las capacidades de publicación-suscripción

Los archivo de datos no se envían a través del Coordinator Manager

Logging / Monitoring

WebSphere MQ Network

AUTOMATION MONITORING

AUDITLOG

OPERATIONS

SYSTEM A

AGENT

SYSTEM B

AGENTAGENT AGENT

Page 35: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

35

Escenarios de Instalación Escenarios de Instalación WebSphere MQ MFTWebSphere MQ MFT

Page 36: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

36

¿Cómo integrar esto con la red existente de Queue Manager?

Escenarios...

Escenarios MQ Networks (I/III)

MONITORING

AUDITLOG

OPERATIONS

SYSTEM A

AGENT

SYSTEM B

AGENTAGENT AGENT

?AUTOMATION

Page 37: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

37

En un extremo, se puede conectar todo a un Queue Manager ...

Útil para la creación de prototipos o sistemas de prueba

Un Queue Manager está desempeñando las siguientes funciones:

Agent Queue Manager (para los dos agentes)

Comando administrador de cola (para los comandos de operación y automatización)

Coordinación de gestor de colas (para los procesos de auditoría y seguimiento)

Escenarios con MQ Networks (II/III)

MONITORING

AUDITLOG

OPERATIONS

SYSTEM A

AGENT

SYSTEM B

AGENTAGENT AGENT

AUTOMATION

WMQ/MFT Server(Queue Manager)

Page 38: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

38

En el otro extremo, puede tener uno o más gestores de colas dedicado a cada función ...

Muchos Queue Manager Cada agente se asocia con exactamente

un Queue Manager Un Queue Manager puede alojar muchos

agentes

Muchos commands Queue Manager Cada instancia de los comandos se asocia

exactamente con un Queue Manager Un gestor de colas puede ser utilizado por

muchos casos de los comandos

Un Coordination Queue Manager Muchos aplicaciones de Monitoring / audit

puede ser acceder a el coordination queue manager

Escenarios con MQ Networks (III/III)

WebSphere MQ Network

AUTOMATION

QM

QMQM

MONITORING

AUDITLOG

QM

OPERATIONS

QM

SYSTEM A

AGENT

SYSTEM B

AGENTAGENT AGENT

Page 39: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

39

Transferencia de un Archivo sobre Transferencia de un Archivo sobre WebSphere MQ MFTWebSphere MQ MFT

Page 40: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

40

Message Flow

Agent QMAGENTAGENTAGENT

Agent QMAGENTAGENT

Command

QM

OPERATIONS

Coordination

QM

LOGGING MONITORING

Page 41: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

41

Message Flow – Iniciando una Transferencia

Agent

QMAGENTAGENTAGENT

Command

QM

OPERATIONS

• Nueva transferencia se inicia mediante el envío de un mensaje de MQ a un agente

El mensaje puede enviarse a través de command Queue Manager

• Mensaje MQ:• Metadata de archivo• Se especifica el agente destino

• El agente destino responde a través de mensaje MQ

• El agente puede, opcionalmente, responder

Page 42: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

42

Message Flow – Transfiriendo Archivo

Coordination

QMCommand

QM

Agent

QMAGENTAGENTAGENT Agent

QM AGENTAGENT

• Agentes de transferencia de datos de archivos como mensajes MQ

• Archivo de datos se envían como mensajes de MQ no persistentes

• Permite la asignación de prioridades con las cargas de trabajo de mensajería

• Protocolo utilizando cuentas por falta de entrega y reordenación

• Las transferencias son asincronas

• Esto evita una acumulación de mensajes

• Transferencias automáticamente con check-point:

• Si alguna parte de la infraestructura sufre un corte de luz, las transferencias automáticamente re-comienzan desde el último punto de control

Page 43: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

43

Message Flow – Log and Progress Data

Agent

QMAGENTAGENTAGENT Agent

QM AGENTAGENT

Coordination

QM

LOGGING MONITORING

• Periódicamente, el agente de origen envía el estado de la transferencia al coordination Queue Manager

• El estado se publica

Page 44: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

44

Message Flow – Interfaces

Agent

QMAGENTAGENTAGENT Agent

QM AGENTAGENT

Command

QM

OPERATIONS

Coordination

QM

LOGGING MONITORING

INTERFACES DOCUMENTADAS

Page 45: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

1. Application writesfile to file system

ExistingApplication

WMQMFT

Agent

WMQMFT

Agent

ExistingApplication

*tap*

2. Agent monitors filesystem, spots arrival of file and based on rules, transfers the file

3. MFT transports fileto destination

4. At destination MQ MFT writes file to file system

5. MFT can also start another application to process the file

Secuencia de acciones simples

Page 46: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

One file to one message

WMQMFT

One file to a group of messages

One message to one file

A group of messages (or all messages on the queue) to one file

WMQMFT

WMQMFT

WMQMFT

• The file can be split based on:

– Size

– Binary delimiter

– Regular expression

• One message becomes one file

• Optionally, a delimiter can be inserted between each message used to compose the file

• One file becomes one message

Alternativas para la transmisión de data

Page 47: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

WebSphere MQ MFT con un ESB

Page 48: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

MQ MFT Agent

DatabaseLogger

Central Management Tool

MQ network

MQ Server MQ MFT Agent

MQ network

File Transfers can be invokedby ESB as a service

ESB

3. Send file data

2. Start file transfer

4. Receive file data

1. Send request

Page 49: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

MQ MFT Agent

DatabaseLogger

Central Management Tool

MQ network

MQ Server

MQ MFT Agent

MQ MFT AgentMQ network

File Transfers can be initiated via- Scheduler- File Directory Monitor- Ad Hoc- Script

ESB

1. Send file data

2. Process file dataif required such asdata transformation

3. Receive file data

File to Message(s) orMessage(s) to File conversion

Page 50: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

MQ MFT Agent

DatabaseLogger

Central Management Tool

MQ network

MQ Server

MQ MFT Agent

MQ MFT AgentMQ network

Web Services, MQ, DB, etc.

File Transfers can be initiated via- Scheduler- File Directory Monitor- Ad Hoc- Script/API

data transformation, Enrichment, convert file data to message(s), etc.

Integrate withnon file oriented systems

Message Flow

WMB

1. Send file data

2. Process file dataif required

3. Receive file data

3. Receive file data

Page 51: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

MQ MFT Agent

DatabaseLogger

Central Management Tool

MQ network

MQ Server

MQ MFT Agent

MQ MFT Agent

MQ network

File Transfers can be invokedBy Message Broker as a service

Message Broker

WMB

2. Send file data

1. Start file transfer

3. Receive file data

Page 52: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

Nodos de IBM Integration Bus para MQ MFT

• MFTInput node

– Build flows that accepts file transfers from the WMQ MFT network

• MFTOutput node

– Build flows that are designed to send a file across a WMQ MFT network

• When WMQ MFT nodes are used in a flow an MFT agent is automatically started in the Message Broker Execution

Group

Message Flow

Execution Group

IBM Integration Bus

MFTInput MFTOutput

WMQMFT

AgentWMQMFT

Agent

WMQMFT

Agent

WMQMFT

Agent

Parte de IBM Integration

Bus

Parte de IBM Integration

Bus

Page 53: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

FTP/FTPS ya existentes

Page 54: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

• Soporta transferencia desde otros servidores FTP o SFTP

• Permite crecer en soluciones de transferencia de archivos de forma incremental

– Se puede auditar usando un log central

– Asegura la entrega usando “checkpoints”

• Se ve como un agente mas de MQ MFT

Audit information

Agent

WebSphere MQ

Agent Agent

ProtocolBridgeAgent

FTP/SFTP

FTP/SFTP

Server

FTP/SFTPClient

FTP/SFTPClient

FTP/SFTPClient

Files exchanged between MFT and FTP/SFTP

Page 55: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

55

Instalación / Configuración Instalación / Configuración WebSphere MQ MFTWebSphere MQ MFT

Page 56: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

56

• WMQ MFT puede coexistir con los servicios de MQ• Se prioritiza los mensajes sobre la transferencia de archivos• Los mensajes de datos se puede dar una prioridad cuando

la transferencia se crea– A través de interfaz gráfica de usuario, Buid Ant o la interfaz de línea

de comandos

• Por defecto de transferencia de archivos maneja prioridad: 0 - la prioridad más baja!

Co-existiendo con otra plataforma MQ

Page 57: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

57

• SYSTEM.MFT (persistente)– Publica mensajes a la Coordination Queue Manager– Los mensajes se publican en la cola de SYSTEM.MFT y el

Coordination Queue Manager publica los mensajes en la cola con el topic SYSTEM.MFT.

• Queue Manager puede ser V6

• Coordination Queue Manager debe ser V7

– Agente de QM requiere de conectividad al coordination QM.

Soporte Queue – Coordination QM y Agents

MQ V6MQMFT

MQ V7MQMFT

MQ V7 MQ V6

MQMFT MQMFT

Page 58: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

58

• Command Queue -. SYSTEM.MFT.COMMAND <nombreDeAgente> (persistente)

– Inicia la transferencia de archivos

– También se utiliza para mensajes internos

• Por ejemplo solicitud de transferencia

• Data Queue -. SYSTEM.MFT.DATA <nombreDeAgente> (no persistentes)

– Se utiliza para transmitir datos

– Los envíos de agente se escriben en el archivo data queue de destino QM QM

• Utiliza canales de MQ para obtener los datos de gestión de la calidad

– El archivo está escrito en forma de mensajes de verificación

– Los archivos se escribe como la transferencia por checkpoint.

• Se fuerza escritura por Checkpoint.

• Reply Queue -. SYSTEM.MFT.REPLY <nombreDeAgente> (no persistente)

– Se utiliza para mensajes de confirmación

– El Agente receptor envía mensajes de estado para validar estado.

• State Queue -. SYSTEM.MFT.STATE <nombreDeAgente> (persistente)

– Contiene el estado de cada transferencia de archivos

– Se escribe en base a checkpoint en caso de recuperación

• Event Queue -. SYSTEM.MFT.EVENT <nombreDeAgente> (persistente)

– Se utiliza para gestionar las transferencias programadas

Soporte Queue – Agents

Page 59: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

59

Estructura de directorio al instalar WMQ MFTDirectorio Descripción Server Client zOS Tools

/bin WMQMFT local commands

/lib WMQ/MFT Binaries

/ant Apache Ant Binaries

/jre Java Runtime Edition (5.0)

/license License text files

/Uninstall The uninstall executable

/config Contains the installation properties file (the “Data Directory”)

/help Standalone version for the product InfoCenter

/eclipse WMQMFT GUI Eclipse WMQ Explorer plugin.

Page 60: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

60

• install.properties

– Ruta de acceso a la transferencia de archivos de WebSphere MQ

– / <WMQMFT Install Directory>

• wmqMFT.properties

– Nombre del Coordination Queue Manager

– / <WMQMFT Install Directory> / config

• command.properties

– Queue Manager principal para usar los comandos (algunos comandos también se conectan al QM).

– Determina con qué se hace a la conexión al QM (o enlaces de clientes)

– / <WMQMFT Install Directory> / config / <CoordinationQM>

• coordination.properties

– Especifica los detalles de la conexión al Queue Manager

– Puede ser en una unidad compartida si varias máquinas comparten el mismo QM

– Determina con qué se hace a la gestión de la calidad de la Coordinación (enlaces o clientes)

– / <WMQMFT Install Directory> / config / <CoordinationQM>

• agent.properties

– Información que un agente utiliza para conectarse a su gestor de colas

– Determina con qué se hace a la gestión de la calidad del agente (o enlaces de clientes)

– / <WMQMFT Install Directory> / config / <CoordinationQM> / Agent / <Agent Name>

Archivos de propiedades WMQ MFT

Page 61: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

61

Agent Properties (I/III)Propiedad Default

ValueDescripción

commandPath None Especifica el path, separados por el separador de ruta específica de la plataforma, donde los comandos se puede invocar con comandos del agente.

Cuidado cuando se establece esta propiedad, ya que cualquier comando en uno de los commandPaths especificado efectivamente se puede llamar desde un sistema cliente remoto que es capaz de enviar comandos al agente.

Por esta razón, por defecto, cuando se especifica un commandPath, sandboxing está habilitado para que todos los directorios commandPath se deniega automáticamente el acceso de una transferencia. Usted puede establecer la propiedad sandboxRoot para anular este comportamiento predeterminado, pero no se recomienda hacerlo, ya que efectivamente permite a un cliente para transferir cualquier comando entre agentes.

sandBoxRoot None Especifica el conjunto de rutas de acceso de root para incluir y excluir al utilizar sandBox. Trabajar en un entorno limitado.

Separa las rutas con un separador de ruta específica de la plataforma. Prefijo de caminos con un "!" carácter para indicar las rutas de las exclusiones del sandBox. Esto es útil si desea excluir un subdirectorio bajo una ruta de acceso raíz incluido.

Page 62: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

62

Agent Properties (II/III)

Propiedad Default Value

Descripción

agentFrameSize 5 Número de windows para el frame

agentWindowSize 10 Número de chunks por cada window

agentChunkSize 256kb Tamaño de cada chunk

agentCheckpointInterval 1 Número de frames que debe ser completado despues de cada checkpoint

Frame

Window Chunk

El tamaño del frame determina la cantidad máxima de datos en transferencia Un frame se divide en windows. Un frame se mueve a lo largo de los datos de un windows a la vez

• Normalmente, los ACK sólo se devuelve cuando una ventana no es completada por cada chunk Un Window se compone de una serie de chunks enviados desde el origen al destino.

• Puede contener datos de uno o más archivos Un chunk se como define el máximo tamaño del mensaje de MQ

Page 63: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

63

Agent Properties (III/III)Propiedad Default Value Valores Recomendados

maxSourceTransfers 25 Plan basado en las necesidades, aumentar al usar monitores

maxDestinationTransfers 25 Plan basado en las necesidades, aumentar al usar monitores

maxQueuedTransfers 1000 Plan basado en las necesidades

maxTransferNegotiationTime 30000 milliseconds

Adjustar basado en la carga y network / system latency

senderTransferRetryInterval 30000 milliseconds

Adjustar basado en la carga y network / system latency

agentStatusPublishRateLimit 30 secs 1 seg si quieres ver lo que está pasando (Sólo se realiza cuando hay un trabajo real)

maxCommandOutput 2048 204800

monitorReportTriggerFail false true (si tiene un monitor)

monitorReportTriggerNotSatisfied false true (si tiene un monitor)

monitorReportTriggerSatisfied false true (si tiene un monitor)

Page 64: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

64

WebSphere MQ ExplorerWebSphere MQ Explorer

Page 65: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

65

Administración Centralizada

Representación visual

Entorno basado en Eclipse

Extensible y personalizable

Configuración centralizada del Backbone distribuido

Vista remota y configuración del Backbone - incluyendo en z/OS

Copy

Move

Audit

View

Cancel

Conexión remota de x86 Linux y Windows

Conexiones seguras SSL

Page 66: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

66

Configuración centralizada vía MQ Explorer

Page 67: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

67

Monitoreo con MQ Explorer

Agent status es desplegado a través de colores

Context menupermite validar conectividad

Page 68: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

68

Auditoría y Monitoreo en MQ Explorer

Ver o cancelar las transferencias agendadas, bien sea pro horario o trigger

Vista de auditoría de las transferencias o grupos

Vista de transferencia en ejecución

Page 69: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

69

Creando transferencia de archivoLista de los orígenes y destinos se construida de forma automática

Especificar el directorio y el nombre del archivo

Seleccione el modo (binario o de texto con la conversión automática)

Agregar a cada individuo para añadir a un grupo de transferencias Seleccione la prioridad

Seleccionar opciones avanzadas

Despliegue de la transferencia del archivo

Page 70: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

70

Transferencia de archivos en Schedule / triggers

Seleccione cuando iniciara el schedule

Seleccione cuantas veces se repetira la acción

Seleccione el evento de activación del trigger

Despliegue la transferencia de archivo

Page 71: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

71

Administración por ComandosAdministración por Comandos

Page 72: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

72

• Interfaz Command Line es consistente en todas las plataformas soportadas

• Órdenes de transferencia se puede invocar desde el entorno de la shell de sistemas operativos compatibles

• Los comandos pueden ser invocados desde cualquier lugar a través de la transferencia de archivos

– Por ejemplo: Las transferencias pueden ser invocadas desde un equipo remoto de Windows para las transferencias que tienen lugar entre z/OS y Unix

• Los desarrolladores pueden utilizar cualquiera de los lenguajes nativos de línea de comandos del sistema operativo para invocar estos comandos (shell, bat, cmd, etc)

• Programas de Aplicación pueden hacer una solicitud mediante una interfaz de mensajería en XML

Administrando por línea de Comando

Page 73: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

73

• Status de Queue Manager– dspmq

• Iniciar Queue Manager– strmqm <QM Name>

• Parar Queue Manager– endmqm <QM Name>

• Crear un Queue Manager– crtmqm <QM Name>– runmqsc <QM Name> < <File Properties>

Queue Manager

Page 74: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

74

Iniciar nueva Transferencia

MFTCreateTransfer Iniciar el Agente

MFTStartAgent Parar el Agente de forma controlada

MFTStopAgent Mostrar Información del Agente

MFTShowAgentDetails Listar Agentes

MFTListAgents

Agent

Page 75: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

75

En una solución SOAEn una solución SOA

Page 76: Click to add text IBM WebSphere MQ Advanced: Managed File Transfer (MFT)

IIB-Nodo1

Core BOD

Core BOD

MQ

MQ

SOAP/HTTP

***DataPower QA / Des

WebSphere Service Registry and Repository

Gobierno de Servicios

SOAP/HTTP(s)

API Management

Gobierno de Servicios

TransformaciónEntregaEnrutamiento

MQ FTE

AAA

Agente MQ MFT

Agente MQ MFT

Agente MQ MFT

Agente MQ MFT

*Agente MQ MFT

*Agente MQ MFT

*Agente embebido.

Orquesta el servicio de MFT

MQ FTE(Seguro)

SFTP

FTP