李二超 首席技术顾问 BMC Control-M
BMC Control-M作业负载自动化方案及发展方向
© Copyright 6/30/2014 BMC Software, Inc 2
理想 VS.现实
© Copyright 6/30/2014 BMC Software, Inc 3
人工操作 VS. 作业负载自动化
© Copyright 6/30/2014 BMC Software, Inc 4
作业负载管理的挑战
如何高效集成成熟的商业化应用系统?
开发 测试 生产
如何提升应用的灵活性以应对未来业务的
需要?
如何即时响应开发部门的需要,快速生成
新的测试方案?
如何准确定位和快速排除测试中错误作业对整体测试的影响?
实现IT运行简约化、智能化、自动化
如何规避操作风险、上线风险,快速定位处理作业故障,避免作业问题影响业务?
如何简单方便的实现应用内部和应用之间的逻
辑依赖?
如何快速部署和运行重复性测试?
如何切实有效的提高运维人员的工作效率,避免宝贵的资源占用?
如何节约批量作业运行时间窗口,缩减故障定位和恢复的时间,减少系统上线时间?
© Copyright 6/30/2014 BMC Software, Inc 5
BMC Control-M 作业负载自动化
© Copyright 6/30/2014 BMC Software, Inc 6
BMC Control-M作业负载自动化方案
年收入近3亿美元 (超过全公司业务收入的10%)
超过2700家用户,遍布全球
拥有业界最佳的客户支持评定和分析机构认可
超过200人的专职研发团队,年收入的20%用于产品研发
近30年不断创新的历史
良好的产品更新记录,持续的版本升级
最佳的迁移方法论
© Copyright 6/30/2014 BMC Software, Inc 7 © Copyright 6/30/2014 BMC Software, Inc 7
场景1 – 数据中心业务系统集中作业调度
BMC能够带来的好处
• 单一控制节点,全方位集中管理
跨应用、跨平台的业务批量作业,减少资源和时间占用,预防错误和风险
• 简单方便实现跨应用、跨平台的
作业依赖,构建端到端的完整业务视图
• 批处理影响分析功能将批量作业和业务有效关联,可提前预警
挑战
• 人工管理批量作业不仅占用大量的资源和时间,并且容易造成错误和风险
• 应用自带调度功能导致应用割裂,无法构建端到端的业务流程视图,缺乏完整业务视图
• 无法展现批量作业错误对应用和业务造成的影响
企业级的跨应用、跨平台能力
作业管理集中化、可视化、自动化
有效关联业务,展现业务影响
BMC Control-M Workload
Automation
© Copyright 6/30/2014 BMC Software, Inc 8 © Copyright 6/30/2014 BMC Software, Inc 8
技术 业务
单一工具
数据库 实时应用 UNIX
Web Services Messaging
Java
Cloud Enablement
Windows Z/OS 文件传输 ERP Applications
iSeries
简约 强大
广泛验证
确定作业对业务服务的影响
自动化
可视化
规范化
集中化
管理员、调度员、操作员、应用人员
© Copyright 6/30/2014 BMC Software, Inc 9 © Copyright 6/30/2014 BMC Software, Inc 9
应用系统 数据库 应用开发
UNIX_Script
AS400_process
Java_process
Win.bat
DB_Backup
ERP_process
MF_process
FTP
Web_Service
MF_process
AS400_process
Web_Service
Java_process
ERP_process
ERP_process
UNIX_Script
UNIX_Script
Win.bat
Web_Service
Web_Service
AS400_process
FTP
DB_Backup
FTP
Win.bat
Win.bat
DB_Backup
MF_process
Java_process
Java_process
FTP
Win.bat ERP_process
ERP_process
UNIX_Script
什么对您的业务最重要?
规划 预测 监控 历史
© Copyright 6/30/2014 BMC Software, Inc 10 © Copyright 6/30/2014 BMC Software, Inc 10
BMC Control-M为您展现 过去… 现在… 和将来…
© Copyright 6/30/2014 BMC Software, Inc 11 © Copyright 6/30/2014 BMC Software, Inc 11
2:30 am
关键作业– 必须 早上6:30前
结束
UNIX_Script
AS400_process
Java_process
Win.bat
ERP_process FTP
Web_Service
Java_process Win.bat
Web_Service
AS400_process
FTP
Win.bat
DB_Backup
MF_process
ERP_process
ERP_process
哪个问题对您的业务至关重要?
Users_Online
BIM_SLA
动态追踪前续作业状态.
DB_Backup
MF_process
AS400_process
UNIX_Script
UNIX_Script
UNIX_Script
FTP
MF_process
Web_Service
Win.bat
UNIX_Script
FTP
DB_Backup
Java_process
Java_process
Win.bat
Java_process
UNIX_Script
AS400_process
FTP
© Copyright 6/30/2014 BMC Software, Inc 12 © Copyright 6/30/2014 BMC Software, Inc 12
Users_Online Service is Late, Job Failure
06:30:00 26/09/2012 05:47:33 26/09/2012 42:27 10 of 18 Jobs (55%)
02:30
提前获知业务影响,防患于未然!
“我们可能延误多久?” “我们还有多少反应时间?”
© Copyright 6/30/2014 BMC Software, Inc 13
银行作业调度自动化应用场景
管理员 调度员 操作员 应用人员
信贷管理系统CMIS
贷记卡系统
国际结算系统IBP
银行卡系统ICS
客户信息系统CIIS
集成财务系统IFSS
个贷系统 基金系统
3000个作业
Control-M 生产作业调度
系统
开放平台
核心银行系统 CBS
12000个作业
信用卡系统 CCS
先进贷款系统 ALS 海外银行系统
OCBS
大机平台
© Copyright 6/30/2014 BMC Software, Inc 14
主要业务挑战
需要精简人员、控制IT成本
减少非计划的作业中止
无法管理数以万计的后台批量作业,包括大机和开放平台
原先流程
从多个数据源抽取数据用于故障根源分析和趋势预测
开发人员通过开发代码实现调度功能,环境变化必须调整代码
必须人工预测错误和延时的影响 (每个错误/延迟需要最少花费20分钟进行影响预测)
新流程
统一的在Control-M企业管理平台查看数据,可以快速进行故障原因分析并进行趋势预测。
应用开发人员无需关注调度功能,调度流程可直接在Control-M中实现
使用批处理影响分析功能,对潜在问题进行告警并在问题发生前解决故障
结果及收益
在作业量持续增长的情况下维持运行操作人员数量不变(3人)
更快的应用开发流程和面世时间
提供业务灵活性,能够接受新的业务挑战和需求
银行作业调度自动化应用场景
© Copyright 6/30/2014 BMC Software, Inc 15 © Copyright 6/30/2014 BMC Software, Inc 15
场景2 – 大数据加工处理(DI&BI)核心调度引擎
BMC能够带来的好处
• 单一控制节点,全方位集中管理
大树据加工处理作业,产品稳定,处理能力强大
• 图形化展示作业依赖关系、快速
定位错误作业,多种手段迅速进行故障恢复
• 直接支持业界主流的数据集成和商业智能平台
客户的挑战
• 作业数量庞大,缺乏可视性,难于有效管理,对调度的处理能力和稳定性要求极高
• 故障的定位和排查需要花费大量时间和精力,故障恢复难度大
• 需要对成熟商业软件进行脚本化封装,并且缺乏跨应用管理能力
企业级的跨应用、跨平台能力
强大的加工处理能力和稳定性
提供丰富的应用集成接口,直接管理主流应用平台作业
BMC Control-M Workload
Automation
© Copyright 6/30/2014 BMC Software, Inc 16
Control-M驱动传统数据处理应用
数据处理过程
应用系统 集成层 数据仓库 数据集市
© Copyright 6/30/2014 BMC Software, Inc 17
Control-M驱动新一代数据处理过程
© Copyright 6/30/2014 BMC Software, Inc 18
• Oracle
• MSSQL
• DB2
• Sybase
• PostgreSQL
Databases
• SAP
• Oracle E-Business Suite
• Oracle PeopleSoft Enterprise
ERP
• Informatica
• IBM Cognos
• IBM InfoSphere DataStage
• SAP Business Objects
• SAP Business Warehouse
• Oracle Business Intelligence
• SQL Server Integration Service (SSIS)
• Hadoop
BI and Data Integration
• VMware
• Amazon EC2
• BMC BladeLogic
Cloud Automation
• Message queues
• Web services
• Java Applications
• IBM WebSphere
• JBOSS
• Oracle WebLogic
• SAP NetWeaver
Service Oriented Architecture
• File Transfer Protocol (FTP)
• SSH File Transfer (SFTP)
File Transfer
Control-M 应用支持
• Symantec Netbackup
• IBM TSM
Backup
© Copyright 6/30/2014 BMC Software, Inc 19
国内银行大数据作业调度自动化应用场景
数据工厂 数据仓库及报表
译码
拆分
合并
数据加工 EDW
管理员 调度员 操作员 应用人员
Control-M 数据交换作业调度系统
ODS ETL过程
抽取
转换
加载
ETL过程
抽取
转换
加载
报表
© Copyright 6/30/2014 BMC Software, Inc 20
Control-M在数据处理中的应用
建设银行 ODS 项目 ETL工具: DataStage 作业管控: Control-M 作业数量: 每天10万个
兴业银行EDIP项目 ETL工具: Informatica 作业管控: Control-M 作业数量:每天1万个
工商银行 UDS 项目 ETL:自定义脚本
作业管控: Control-M 作业数量: 每天30万个
BMC Control-M: 数据处理的核心管控模块
© Copyright 6/30/2014 BMC Software, Inc 21 21 © Copyright 6/30/2014 BMC Software, Inc
BMC Control-M作业负载自动化发展方向
© Copyright 6/30/2014 BMC Software, Inc 22 22 © Copyright 6/30/2014 BMC Software, Inc
IT技术发展趋势
IT
消费化
IT
产业化
自助服务 移动办公
云计算/虚拟化 大数据
© Copyright 6/30/2014 BMC Software, Inc 23
BMC Control-M 作业负载自动化 最新发布
单点控制 服务等级管理 自助服务移动化 审计及合规
Hadoop
Backup
SAP V8
Workload Discovery
Conversion
Usage Reporting
Control-M V8 Fix Packs 1-3
Workload Change Manager
Newsfeed Domain
Localization
JCL Verify v3
Self Service Mobile
© Copyright 6/30/2014 BMC Software, Inc 24
应用插件路标图
FY14 Q2-3
FY14 Q4
FY15Q2
FY15Q1
FY15Q3
v9
TBD:
SAP FCC
Hadoop v2
FY15Q4
Or
BPI v8 JAVA,
Messaging,
WebServices
Conversion
Application
Integrator Phase 1:
Internal Databases
v9
Hadoop
8
© Copyright 6/30/2014 BMC Software, Inc 25
BMC Control-M 自助服务移动化
支持智能手机及平板设备 - 苹果iOS (V1) & 谷歌Android (V2) - 优化平板设备使用 (V3)
服务及作业视图 - 状态监控 - 基本属性 - 日志及作业输出
作业控制 - 暂停、释放、重跑、确认、重启
强制成功、强制中止、忽略条件
将来计划 - 支持更多用户类型 - 集成MyIT
© Copyright 6/30/2014 BMC Software, Inc 26
Control-M支持大数据: Hadoop 2013第三季度
通过内置集成技术实现Hadoop作业自动化,提供运行操作视角的透明化 - 利用所有Control-M的优势
和Hadoop双向通信,支持Cloudera, MapR, Hortonworks
加密的登录授权机制
原始作业输出
支持对象: - Pig, - Hive, - Map Reduce - Sqoop - HDFS Actions &
File Watcher
接入Hadoop job tracker
CRM
ERP
MF
Applications
Files
ET
L
Business
Intelligence Business
Intelligence
Data
warehous
e
Natural
Language
Social
Media Video &
Images
GPS
Sensors
BMC Control-M Workload Automation
ET
L
© Copyright 6/30/2014 BMC Software, Inc 27
BMC Control-M for Hadoop
采用企业及业务调度系统的强大与简单管理Hadoop批量处理
更快的应用部署
通过和Hadoop平台集成的可拖拽界面简化批量作业流的构建
允许快速业务变更
将Hadoop作业流和企业业务处理相关联,构建端到端的业务视图
通过预测性分析和智能监控侦测作业流错误和运行缓慢
改进服务交付
© Copyright 6/30/2014 BMC Software, Inc 28
作业负载变更管理 2014第二季度
提供Web界面用于输入变更请求
提供终端用户和排程管理员之间的基本工作流
计划集成变更管理系统
© Copyright 6/30/2014 BMC Software, Inc 29
自动化并缩短作业变更请求周期
主要特性:
• 简单直观的Web接口用于提交变更请求
• 强化站点规范和命名方式
• 自动转换为真正的 “生产作业”,供排程管理员查看
• 对所有变更进行追踪和审计
• 集成外置流程/变更管理系统
BMC Control-M作业负载变更管理
作业负载变更管理:如何工作
• 为终端用户配置作业属性
• 终端用户创建并变更作业流
• 在所有Control-M界面强化预定义的站点规范
Web接口
• 终端用户提交作业流
• 排程管理员可以对请求进行查看、批准、拒绝或注释
• 所有请求均被追踪和审计
工作流
• 变更工单关联作业负载变更请求
• 为用户定制的集成提供“出口”
• 何时提交请求
• 何时请求状态变更
集成
© Copyright 6/30/2014 BMC Software, Inc 31 © Copyright 6/30/2014 BMC Software, Inc 31 BMC Confidential – Subject to Change
BMC Control-M 作业负载变更管理
简单
高效
结构化
可审计
自动化
© Copyright 6/30/2014 BMC Software, Inc 32 © Copyright 6/30/2014 BMC Software, Inc 32
BMC作业负载变更管理
主要益处:
快速创建作业流,更快的交付业务应用
允许应用开发人员和其他非IT人员简单方便的构建应用作业流
保证所有作业流满足站点规范,减少非标准作业定义造成的错误
无需安装软件,无需投入时间学习作业负载自动化方案,即可实时查看应用作业流
全面依从和监管作业负载策略变更流程,提供完善的审计信息, 记录请求者和排程管理员的活动及信息交互
将作业负载自动化变更和变更管理系统集成,获取新应用发布的完整视图
© Copyright 6/30/2014 BMC Software, Inc 33
Control-M归档管理
作业负载数据归档(2H 2014) - 进一步满足审计及合规需求 - 方便故障诊断及分析
© Copyright 6/30/2014 BMC Software, Inc 34
Control-M 转换工具
全面覆盖Tier-1 & Tier-2供应商
应用转换 - Hadoop-Oozie - SAP
作业负载自动发现 - Windows Task Scheduler - CRON
下一步? - 应用 - 自动发现 - 验证 - 简化
© Copyright 6/30/2014 BMC Software, Inc 35
Control-M本地化
中文化版本(2014年5月) - 基于Control-M V8 Fixpack 200
© Copyright 6/30/2014 BMC Software, Inc 36
将
简化 进行到底!
计划发布时间
15年上半年
容量阀值告警
支持IPv6
便于进行环境间转换
代理&客户端升级自动化
高可用性
排程动态化
Control-M V9
© Copyright 6/30/2014 BMC Software, Inc 37