bmc...

李二超首席技术顾问 BMC Control-M

BMC Control-M作业负载自动化方案及发展方向

© Copyright 6/30/2014 BMC Software, Inc 2

理想 VS.现实


人工操作 VS. 作业负载自动化


作业负载管理的挑战

如何高效集成成熟的商业化应用系统?

开发测试生产

如何提升应用的灵活性以应对未来业务的

需要?

如何即时响应开发部门的需要，快速生成

新的测试方案?

如何准确定位和快速排除测试中错误作业对整体测试的影响?

实现IT运行简约化、智能化、自动化

如何规避操作风险、上线风险，快速定位处理作业故障，避免作业问题影响业务?

如何简单方便的实现应用内部和应用之间的逻

辑依赖?

如何快速部署和运行重复性测试?

如何切实有效的提高运维人员的工作效率，避免宝贵的资源占用?

如何节约批量作业运行时间窗口，缩减故障定位和恢复的时间，减少系统上线时间?


BMC Control-M 作业负载自动化


BMC Control-M作业负载自动化方案

年收入近3亿美元 (超过全公司业务收入的10％)

超过2700家用户，遍布全球

拥有业界最佳的客户支持评定和分析机构认可

超过200人的专职研发团队，年收入的20％用于产品研发

近30年不断创新的历史

良好的产品更新记录，持续的版本升级

最佳的迁移方法论

© Copyright 6/30/2014 BMC Software, Inc 7 © Copyright 6/30/2014 BMC Software, Inc 7

场景1 – 数据中心业务系统集中作业调度

BMC能够带来的好处

• 单一控制节点，全方位集中管理

跨应用、跨平台的业务批量作业，减少资源和时间占用，预防错误和风险

• 简单方便实现跨应用、跨平台的

作业依赖，构建端到端的完整业务视图

• 批处理影响分析功能将批量作业和业务有效关联，可提前预警

挑战

• 人工管理批量作业不仅占用大量的资源和时间，并且容易造成错误和风险

• 应用自带调度功能导致应用割裂，无法构建端到端的业务流程视图，缺乏完整业务视图

• 无法展现批量作业错误对应用和业务造成的影响

企业级的跨应用、跨平台能力

作业管理集中化、可视化、自动化

有效关联业务，展现业务影响

BMC Control-M Workload

Automation


技术业务

单一工具

数据库实时应用 UNIX

Web Services Messaging

Java

Cloud Enablement

Windows Z/OS 文件传输 ERP Applications

iSeries

简约强大

广泛验证

确定作业对业务服务的影响

自动化

可视化

规范化

集中化

管理员、调度员、操作员、应用人员


应用系统数据库应用开发

UNIX_Script

AS400_process

Java_process

Win.bat

DB_Backup

ERP_process

MF_process

FTP

Web_Service

MF_process

AS400_process

Web_Service

Java_process

ERP_process

ERP_process

UNIX_Script

UNIX_Script

Win.bat

Web_Service

Web_Service

AS400_process

FTP

DB_Backup

FTP

Win.bat

Win.bat

DB_Backup

MF_process

Java_process

Java_process

FTP

Win.bat ERP_process

ERP_process

UNIX_Script

什么对您的业务最重要?

规划预测监控历史


BMC Control-M为您展现过去… 现在… 和将来…


2:30 am

关键作业– 必须早上6:30前

结束

UNIX_Script

AS400_process

Java_process

Win.bat

ERP_process FTP

Web_Service

Java_process Win.bat

Web_Service

AS400_process

FTP

Win.bat

DB_Backup

MF_process

ERP_process

ERP_process

哪个问题对您的业务至关重要?

Users_Online

BIM_SLA

动态追踪前续作业状态.

DB_Backup

MF_process

AS400_process

UNIX_Script

UNIX_Script

UNIX_Script

FTP

MF_process

Web_Service

Win.bat

UNIX_Script

FTP

DB_Backup

Java_process

Java_process

Win.bat

Java_process

UNIX_Script

AS400_process

FTP


Users_Online Service is Late, Job Failure

06:30:00 26/09/2012 05:47:33 26/09/2012 42:27 10 of 18 Jobs (55%)

02:30

提前获知业务影响，防患于未然！

“我们可能延误多久？” “我们还有多少反应时间？”


银行作业调度自动化应用场景

管理员调度员操作员应用人员

信贷管理系统CMIS

贷记卡系统

国际结算系统IBP

银行卡系统ICS

客户信息系统CIIS

集成财务系统IFSS

个贷系统基金系统

3000个作业

Control-M 生产作业调度

系统

开放平台

核心银行系统 CBS

12000个作业

信用卡系统 CCS

先进贷款系统 ALS 海外银行系统

OCBS

大机平台


主要业务挑战

需要精简人员、控制IT成本

减少非计划的作业中止

无法管理数以万计的后台批量作业，包括大机和开放平台

原先流程

从多个数据源抽取数据用于故障根源分析和趋势预测

开发人员通过开发代码实现调度功能，环境变化必须调整代码

必须人工预测错误和延时的影响 (每个错误/延迟需要最少花费20分钟进行影响预测)

新流程

统一的在Control-M企业管理平台查看数据，可以快速进行故障原因分析并进行趋势预测。

应用开发人员无需关注调度功能，调度流程可直接在Control-M中实现

使用批处理影响分析功能，对潜在问题进行告警并在问题发生前解决故障

结果及收益

在作业量持续增长的情况下维持运行操作人员数量不变（3人）

更快的应用开发流程和面世时间

提供业务灵活性，能够接受新的业务挑战和需求

银行作业调度自动化应用场景


场景2 – 大数据加工处理（DI&BI）核心调度引擎

BMC能够带来的好处

• 单一控制节点，全方位集中管理

大树据加工处理作业，产品稳定，处理能力强大

• 图形化展示作业依赖关系、快速

定位错误作业，多种手段迅速进行故障恢复

• 直接支持业界主流的数据集成和商业智能平台

客户的挑战

• 作业数量庞大，缺乏可视性，难于有效管理，对调度的处理能力和稳定性要求极高

• 故障的定位和排查需要花费大量时间和精力，故障恢复难度大

• 需要对成熟商业软件进行脚本化封装，并且缺乏跨应用管理能力

企业级的跨应用、跨平台能力

强大的加工处理能力和稳定性

提供丰富的应用集成接口，直接管理主流应用平台作业

BMC Control-M Workload

Automation


Control-M驱动传统数据处理应用

数据处理过程

应用系统集成层数据仓库数据集市


Control-M驱动新一代数据处理过程


• Oracle

• MSSQL

• DB2

• Sybase

• PostgreSQL

Databases

• SAP

• Oracle E-Business Suite

• Oracle PeopleSoft Enterprise

ERP

• Informatica

• IBM Cognos

• IBM InfoSphere DataStage

• SAP Business Objects

• SAP Business Warehouse

• Oracle Business Intelligence

• SQL Server Integration Service (SSIS)

• Hadoop

BI and Data Integration

• VMware

• Amazon EC2

• BMC BladeLogic

Cloud Automation

• Message queues

• Web services

• Java Applications

• IBM WebSphere

• JBOSS

• Oracle WebLogic

• SAP NetWeaver

Service Oriented Architecture

• File Transfer Protocol (FTP)

• SSH File Transfer (SFTP)

File Transfer

Control-M 应用支持

• Symantec Netbackup

• IBM TSM

Backup


国内银行大数据作业调度自动化应用场景

数据工厂数据仓库及报表

译码

拆分

合并

数据加工 EDW

管理员调度员操作员应用人员

Control-M 数据交换作业调度系统

ODS ETL过程

抽取

转换

加载

ETL过程

抽取

转换

加载

报表


Control-M在数据处理中的应用

建设银行 ODS 项目 ETL工具: DataStage 作业管控: Control-M 作业数量: 每天10万个

兴业银行EDIP项目 ETL工具: Informatica 作业管控: Control-M 作业数量:每天1万个

工商银行 UDS 项目 ETL:自定义脚本

作业管控: Control-M 作业数量: 每天30万个

BMC Control-M: 数据处理的核心管控模块

© Copyright 6/30/2014 BMC Software, Inc 21 21 © Copyright 6/30/2014 BMC Software, Inc

BMC Control-M作业负载自动化发展方向

© Copyright 6/30/2014 BMC Software, Inc 22 22 © Copyright 6/30/2014 BMC Software, Inc

IT技术发展趋势

IT

消费化

IT

产业化

自助服务移动办公

云计算/虚拟化大数据


BMC Control-M 作业负载自动化最新发布

单点控制服务等级管理自助服务移动化审计及合规

Hadoop

Backup

SAP V8

Workload Discovery

Conversion

Usage Reporting

Control-M V8 Fix Packs 1-3

Workload Change Manager

Newsfeed Domain

Localization

JCL Verify v3

Self Service Mobile


应用插件路标图

FY14 Q2-3

FY14 Q4

FY15Q2

FY15Q1

FY15Q3

v9

TBD:

SAP FCC

Hadoop v2

FY15Q4

Or

BPI v8 JAVA,

Messaging,

WebServices

Conversion

Application

Integrator Phase 1:

Internal Databases

v9

Hadoop

8


BMC Control-M 自助服务移动化

支持智能手机及平板设备 - 苹果iOS (V1) & 谷歌Android (V2) - 优化平板设备使用 (V3)

服务及作业视图 - 状态监控 - 基本属性 - 日志及作业输出

作业控制 - 暂停、释放、重跑、确认、重启

强制成功、强制中止、忽略条件

将来计划 - 支持更多用户类型 - 集成MyIT


Control-M支持大数据: Hadoop 2013第三季度

通过内置集成技术实现Hadoop作业自动化，提供运行操作视角的透明化 - 利用所有Control-M的优势

和Hadoop双向通信，支持Cloudera, MapR, Hortonworks

加密的登录授权机制

原始作业输出

支持对象: - Pig, - Hive, - Map Reduce - Sqoop - HDFS Actions &

File Watcher

接入Hadoop job tracker

CRM

ERP

MF

Applications

Files

ET

L

Business

Intelligence Business

Intelligence

Data

warehous

e

Natural

Language

Social

Media Video &

Images

GPS

Sensors

BMC Control-M Workload Automation

ET

L


BMC Control-M for Hadoop

采用企业及业务调度系统的强大与简单管理Hadoop批量处理

更快的应用部署

通过和Hadoop平台集成的可拖拽界面简化批量作业流的构建

允许快速业务变更

将Hadoop作业流和企业业务处理相关联，构建端到端的业务视图

通过预测性分析和智能监控侦测作业流错误和运行缓慢

改进服务交付


作业负载变更管理 2014第二季度

提供Web界面用于输入变更请求

提供终端用户和排程管理员之间的基本工作流

计划集成变更管理系统


自动化并缩短作业变更请求周期

主要特性：

• 简单直观的Web接口用于提交变更请求

• 强化站点规范和命名方式

• 自动转换为真正的 “生产作业”，供排程管理员查看

• 对所有变更进行追踪和审计

• 集成外置流程/变更管理系统

BMC Control-M作业负载变更管理

作业负载变更管理：如何工作

• 为终端用户配置作业属性

• 终端用户创建并变更作业流

• 在所有Control-M界面强化预定义的站点规范

Web接口

• 终端用户提交作业流

• 排程管理员可以对请求进行查看、批准、拒绝或注释

• 所有请求均被追踪和审计

工作流

• 变更工单关联作业负载变更请求

• 为用户定制的集成提供“出口”

• 何时提交请求

• 何时请求状态变更

集成


BMC作业负载变更管理

主要益处：

快速创建作业流，更快的交付业务应用

允许应用开发人员和其他非IT人员简单方便的构建应用作业流

保证所有作业流满足站点规范，减少非标准作业定义造成的错误

无需安装软件，无需投入时间学习作业负载自动化方案，即可实时查看应用作业流

全面依从和监管作业负载策略变更流程，提供完善的审计信息，记录请求者和排程管理员的活动及信息交互

将作业负载自动化变更和变更管理系统集成，获取新应用发布的完整视图


Control-M归档管理

作业负载数据归档(2H 2014) - 进一步满足审计及合规需求 - 方便故障诊断及分析


Control-M 转换工具

全面覆盖Tier-1 & Tier-2供应商

应用转换 - Hadoop-Oozie - SAP

作业负载自动发现 - Windows Task Scheduler - CRON

下一步? - 应用 - 自动发现 - 验证 - 简化


Control-M本地化

中文化版本(2014年5月) - 基于Control-M V8 Fixpack 200


将

简化进行到底！

计划发布时间

15年上半年

容量阀值告警

支持IPv6

便于进行环境间转换

代理＆客户端升级自动化

高可用性

排程动态化

Control-M V9

bmc...

Documents