刘光亚 ([email protected])
DESCRIPTION
Jul 2014. HEAT 部署 Hadoop 集群. 刘光亚 ([email protected]). 什么是 HEAT. Orchestration service for OpenStack 使用 Template 来定义应用 (JSON Or YAML) 自动部署 自动扩展 高可用 。。。. Hadoop Cluster On HEAT. 自动部署 自动部署 Hadoop 集群 自动扩展 根据 CPU , Memory 等等来自动扩展 Hadoop 集群. Hadoop Cluster On HEAT. Hadoop 的模板 - PowerPoint PPT PresentationTRANSCRIPT
© 2013 IBM Corporation2IBM Technical Computing
• Orchestration service for OpenStack• 使用 Template 来定义应用 (JSON Or YAML)
– 自动部署– 自动扩展– 高可用– 。。。
什么是 HEAT
© 2013 IBM Corporation3IBM Technical Computing
• 自动部署– 自动部署 Hadoop 集群
• 自动扩展– 根据 CPU , Memory 等等来自动扩展 Hadoop 集群
Hadoop Cluster On HEAT
© 2013 IBM Corporation4IBM Technical Computing
• Hadoop 的模板– 一个 Hadoop 管理节点– 多个 Hadoop 计算节点
• 可以自动扩展、收缩等等– 告警
• 监控 CPU 或者 Memory
• 触发策略执行– 策略
• 自动扩展收缩等等
Hadoop Cluster On HEAT
© 2013 IBM Corporation5IBM Technical Computing
• Hadoop Template For HEAT
Hadoop Cluster On HEAT
创建虚拟机的镜像文件虚拟机的flavor
访问虚拟机的 private key
user data 是虚拟机创建完成后,需要做的一些 post install 工
作
Hadoop 管理节点
Hadoop 管理节点安装完成后,需要发一个信号来通知 HEAT
Engine 可以开始创建 Hadoop计算节点了
© 2013 IBM Corporation6IBM Technical Computing
• Hadoop Template For HEAT
Hadoop Cluster On HEAT
Hadoop 计算节点自动扩展资源组
Hadoop 计算节点自动扩展资源组最小虚拟机个数
Hadoop 计算节点自动扩展资源组最大虚拟机个数
© 2013 IBM Corporation7IBM Technical Computing
• Hadoop Template For HEAT
Hadoop Cluster On HEAT
将 metrics 发给 heat engine , heatengine 会根据
metircs 来决定是否要自动扩展或者收缩。
© 2013 IBM Corporation8IBM Technical Computing
• Hadoop Template For HEAT
Hadoop Cluster On HEAT
Hadoop 自动扩展策略
每次扩展只会添加一台虚拟机 用来触发自动扩展
的 Alarm
触发自动扩展的阈值
当前的这个自动扩展策略针对的是哪个资源扩展组连续两次自动扩展的时间间隔
触发自动扩展的 Metrics
Alarm 多长时间触发一次
© 2013 IBM Corporation9IBM Technical Computing
• 创建 Stack
Hadoop Cluster On HEAT
© 2013 IBM Corporation10IBM Technical Computing
• Stack 创建完成
Hadoop Cluster On HEAT
© 2013 IBM Corporation11IBM Technical Computing
• 检查 VM 是否创建成功
Hadoop Cluster On HEAT
Hadoop Master
Hadoop Compute
© 2013 IBM Corporation12IBM Technical Computing
• 检查 Hadoop 集群
Hadoop Cluster On HEAT
One Hadoop Compute
© 2013 IBM Corporation13IBM Technical Computing
• 自动扩展一台虚拟机
Hadoop Cluster On HEAT
© 2013 IBM Corporation14IBM Technical Computing
• 自动扩展成功
Hadoop Cluster On HEAT
© 2013 IBM Corporation15IBM Technical Computing
• 检查 Hadoop 集群
Hadoop Cluster On HEAT
Scale up to Two Hadoop Compute
© 2013 IBM Corporation16IBM Technical Computing
• 可以用同样的方法来自动收缩– 现在自动收缩会将创建最早的虚拟机删除,没有任何的策略让用户挑选要删除
的虚拟机。– 在删除虚拟机前,用户没有机会为即将删除的虚拟机执行一些清理工作。
Hadoop Cluster On HEAT
© 2013 IBM Corporation17IBM Technical Computing
• https://wiki.openstack.org/Heat
• https://w3-connections.ibm.com/wikis/home?lang=en-us
#!/wiki/Wc50c94953cb5_4158_b054_b5af88796998/page/BigData%20on%20Cloud
• http://aws.amazon.com/documentation/cloudformation/
• https://w3-connections.ibm.com/wikis/home?lang=en-us#!/wiki/W6756ebb33c0c_43ca_9ae8_3cd8b377a1be/page/Heat
参考
© 2013 IBM Corporation18IBM Technical Computing
HEAT 自动扩展工作流
© 2013 IBM Corporation19IBM Technical Computing
Thanks!