东航实时数据平台 - oracle · 业务痛点. 航班计划. 收益管理. 销售....
TRANSCRIPT
目 录
一、东航介绍 二、项目介绍
三、项目POC测试 四、解决方案 五、上线运行情况
2
一、东航介绍
3
旅客运输量：全球第5
机队规模：全球第9
飞机架数：近502架
每天航班量：超过2000班
航线网络通达187个国家
1024个城市
全球约8万名员工
资产规模：约1312亿元
PVG
LHR CDG
AMS
FRA
MEL
LAX
JFK
YVR
东航自营航线 依托天合联盟进行代码共享航线
《WPP》最具创新力中国公司25强 《财富》中国最具价值品牌50强
东方航空介绍
东航愿景
打造世界一流的现代航空服务集成商
“精准、精致、精细、精彩”的服务理念
产品转型 从卖座位到卖服务
服务
集成商
服务转型 从规范化到个性化
5
东航IT战略规划
6
客户网
营销网 服务网
管控网
运行网
旅客
航班 飞机 设备 人员 产品
电商平台
运价 收益管理 CSM
ERP
AOC
MRO HCC
物流网 （新业务）
航班
飞机
构建整合的6张网应用架构，支持全流程服务和一体化运营
管控网
东航IT战略规划
7
客户产品数据中心
营销 数据洞
察
服务
ECIF
客服 CC
电商 数据
生产运行数据中心
运控 AOC
服务
HCC
机务 MCC
管控 规划
构建集成的企业数据模型、整合为两大高度集成的东航数据中心
每个数据中心组成：实时交易数据库+分析型数据仓库
8
二、项目介绍
航班计划 业务痛点 收益管理 销售 运行保障 地面服务 客舱服务
对外
对内 难以及时调整销售策略；
难以进行精准营销；
难以实时航班监控、餐食机供品精确预配、旅客自动保护
部分贵宾服务的准备不够充分；
个性化服务体验不好；
非及时的航班变更通知、值机提醒通知、中转提醒等
非实时全渠道数据，无法提供统一服务；
官网 移动APP ECIF
自助值机 中转 移动客舱
贵宾室 运行网 不正常航班
营销洞察 座控决策
9
项目介绍
大数据营销
业务痛点—缺乏订座和离港实时事件数据，场景应用不实时
系统痛点—关系复杂、难扩展、难以满足业务发展需求
10
项目介绍
订座
离港
电商
不正常航班
ECIF
B2M
营销洞察
座控决策
贵宾室
HCC
数据获取 操作方式 问题
Eterm仿真 定时指令提取 实用配置资源多、数据非实时、稳定性差
航信每日标准数据文件 批量处理 每日提供一次，无法适应
新业务需要
航信提供五类实时数据，更好地服务于营销和运行
11
项目介绍
INV：座位存量
PNR：旅客订座
TKT：旅客出票
DCS：离港航班和旅客
SCH：航班计划
12
项目介绍
消息数据量大，需要高速接收的数据库和处理平台
数据类别 \项目
平均消息长度
高峰条数
高峰吞吐量(字
节)
每日条数
每日吞吐量(字
节)
DCS-FLT 2K 240 480K 210万 4.2G
DCS-CKI 3K 240 720K 150万 4.5G
PNR 5K 215 1.1M 250万 12.5G
INV 8K 300 2.4M 480万 38.4G
TKT 5K 400 2M 140万 7G
SCH 2K 5 10K 200 <0.1G
合计 650 3.2M 1230万 77G
原始XML消息：
13
项目介绍
消息数据量大，需要高速接收的数据库和处理平台
离港 • 峰值：1200条/秒 • 日累计：1800万条，预计3.5G存储
订座 • 峰值：9000条/秒 • 日累计：1.7亿条，预计22G
合计 • 峰值：10200条/秒 • 日累计：1.8亿条，预计25.5G
解析XML后：
14
项目介绍
评估后的指标要求
SQL IOPS：20,000
SQL MBPS：15G/s
Storage Capacity：40T/year
Streams Capability：600/s
必要性：建立新平台，满足不断发展的业务需求
15
离港数据 DCS
座位存量 INV
旅客订座 PNR
航班计划 SCH
旅客出票 TKT
实时数据处理平台
项目介绍
WEB服务 批量数据 服务 消息服务
16
三、项目POC测试
17
项目POC测试
测试场景
1.数据采集 XML解析入库 解析，然后插入到数据库
定时ETL 定时处理采集数据，生成旅客概要
2.单用户查询 单表查询、大表关联、聚合计算
执行单SQL操作
3.多用户混合负载 1、8、16、32个4种并发用户
分别提交5、40、80、160个SQL
4.模拟生产运行 数据采集和混合负载同时运行
18
项目POC测试
参与测试的平台，运行Oracle数据库
1.Oracle Exadata X4-2 1/4 Rack
2.IBM PureFlex 260 (RAC of 2 node)
VS
19
项目POC测试
测试结果：Exadata Win！
Exadata X4-2 IBM PureFlex
数据采集 XML解析入库
675个消息/秒, 555Procs/s
250个消息/秒，20Procs/s
定时ETL 3分14秒 30分钟仍未结束
单用户及负载
单表查询、大表关联、聚合计算，1、8、16、32个4种并发用户
36分钟完成 180分钟只完成1/5
模拟生产运行
1小时27分钟 5小时只完成1/5
20
四、解决方案
21
业务解决方案
解决方案
机供品
不正常航班管理
中转服务
贵宾室
ECIF
营销数据集市
座控决策支持
运行网
现场保障
离港数据DCS
座位存量INV
旅客订座PNR
航班计划SCH
旅客出票TKT
移动APP
22
解决方案
系统架构
23
解决方案
数据流处理逻辑
24
解决方案
网络部署架构
生产Exadata环境：X5-2 ½配，测试备份Exadata环境：X5-2 ¼配
五、上线运行情况
25
26
解决方案
疑问：以下压力是否会超负荷？
每秒1万条并发插入
同时，每秒650个存储过程调用
而且，外部系统50个并发读访问
而且，TB级大IO批处理作业运行
27
解决方案
目前上线约1/3，负载情况
数据量10TB，每秒： • 执行SQL16,000多次 • 事务数1400多 • 8MB/s日志大小，意味着30GB/小时
28
解决方案
我们发现
• DB Server CPU：<10%
• Storage CPU: <10%
• IOPS：16000
• MBPS：150MB
生产Exadata 提供的能力还有很大空间可以优化利用： • IOPS(1.3M Flash + 16K Disk) • MBPS(70GB/s Flash + 10GB/s Disk)
1.按月分表空间存储，只读历史月份数据
29
解决方案
目前性能改进点
2.临时表空间使用FLASHCACHE
3.启用WRITE-BACK FLASHCACHE 正在实施…
4. 大表使用本地索引 即使有主键，主键结合分区键作为新主键
谢 谢！