最新动态2019年9月序号功能名称功能描述阶段相关文档 1...

云容器引擎

新动态

文档版本 01

发布日期 2020-09-17

华为技术有限公司

版权所有 © 华为技术有限公司 2020。保留一切权利。

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。商标声明

和其他华为商标均为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼邮编：518129

网址： https://www.huawei.com

客户服务邮箱： [email protected]

客户服务电话： 4008302118

文档版本 01 (2020-09-17) 版权所有 © 华为技术有限公司 i

https://www.huawei.com

mailto:[email protected]

目录

1 新功能发布记录.......................................................................................................................... 1

2 Kubernetes 版本发布说明......................................................................................................132.1 CCE 发布 Kubernetes 1.17 版本说明................................................................................................................................ 132.2 CCE 发布 Kubernetes 1.15 版本说明................................................................................................................................ 172.3 CCE 发布 Kubernetes 1.13 版本说明................................................................................................................................ 232.4 CCE 发布 Kubernetes 1.11 版本说明................................................................................................................................ 242.5 CCE 发布 Kubernetes 1.9 及之前版本说明..................................................................................................................... 25

云容器引擎新动态目录

文档版本 01 (2020-09-17) 版权所有 © 华为技术有限公司 ii

1 新功能发布记录

本文介绍了云容器引擎CCE各特性版本的功能发布和对应的文档动态，新特性将在各个区域（Region）陆续发布，欢迎体验。

2020 年 8 月

序号

功能名称功能描述阶段

相关文档

1 HPA支持基于自定义指标的弹性伸缩

1.15及以上版本的集群中HPA支持自定义指标策略，可以设置自定义指标名称、指标来源、期望值和阈值。

商用

工作负载伸缩

2 CCE Turbo集群上线，支持裸金属服务器与虚拟机混合部署

CCE Turbo支持新一代裸金属容器2.0集群，同时支持传统虚拟机节点，基于华为云新一代高性能基础设施提供极致的性能体验。

公测

购买Turbo集群

3 CCE支持ELB v3的SNI多证书

若需要对外提供多个域名的访问，并且不同域名使用独立的证书，则需要开启SNI（Server NameIndication）功能。开启SNI后，允许客户端在发起SSL握手请求时就提交请求的域名信息。

商用

负载均衡( LoadBalancer )

云容器引擎新动态 1 新功能发布记录

文档版本 01 (2020-09-17) 版权所有 © 华为技术有限公司 1

https://support.huaweicloud.com/usermanual-cce/cce_01_0208.html




2020 年 7 月

序号


相关文档

1 CCE支持Kubernetes 1.17混合集群

CCE支持Kubernetes 1.17混合集群，发布Kubernetesv1.17.9-r0版本。

商用

详情请参见CCE发布Kubernetes1.17版本说明

2 前端功能优化 ● 优化普通任务列表页面，增加展示任务的开始时间、停止时间和执行时长等信息。

● 工作负载和定时任务支持通过页面修改yaml，执行配置更改，从而方便实时测试。

商用

创建定时任务(CronJob)

3 Kubernetes 1.17版本支持CCETurbo集群

Kubernetes 1.17版本支持创建CCE Turbo集群，CCETurbo集群支持虚拟机和裸金属节点混合，基于新一代容器网络模式（Yangtse网络）提供极致网络性能体验。

公测

请提交工单申请公测

4 CCE支持挂载第三方租户的OBS桶

CCE集群支持挂载使用第三方租户的OBS桶，包括OBS并行文件系统（优先）和OBS对象桶。

仅支持挂载同一区域下的第三方租户的并行文件系统和对象桶。

商用

挂载第三方租户的对象存储

5 CCE集成华为云容器安全服务（CGS）

CCE集成华为云容器安全服务（CGS），容器安全服务能够扫描镜像中的漏洞与配置信息，帮助企业解决传统安全软件无法感知容器环境的问题；同时提供容器进程白名单、文件只读保护和容器逃逸检测功能，有效防止容器运行时安全风险事件的发生。

商用

容器安全服务（CGS）

6 支持独享型ELB直通容器

深度整合VPC原生ENI弹性网卡能力，采用VPC网段分配容器地址，支持ELB直通容器，基于新一代容器网络模式提供极致网络性能体验。

公测

创建独享型负载均衡器



https://support.huaweicloud.com/usermanual-cce/cce_01_0151.html#section3


https://console.huaweicloud.com/ticket/#/ticketindex/createIndex

https://support.huaweicloud.com/bestpractice-cce/cce_bestpractice_00199.html


https://support.huaweicloud.com/cgs/index.html

https://support.huaweicloud.com/cgs/index.html

https://support.huaweicloud.com/test-usermanual-elb/ELB_LB_000006.html


2020 年 6 月

序号


相关文档

1 支持创建v1.15.11版本的混合集群和鲲鹏集群（ARM）

● 支持创建v1.15.11版本的混合集群和鲲鹏集群（ARM）。

● 插件市场中的Everest、CoreDNS、Autoscaler、dashboard插件支持ARM集群下安装，支持双架构适配X86/ARM混合场景。

商用

● 购买混合集群

● 购买鲲鹏集群

● 插件管理

2 支持联邦用户 CCE的EPS细粒度授权支持SAML联邦用户场景，用户可使用SAML联邦方式访问CCE。

商用

身份提供商概述

3 CCE v1.15的CSIEverest容器存储插件支持fuxiFlexVolume的功能

将低于1.15的CCE集群升级到v1.15后，能够在不断服业务不感知的情况下，用v1.15的CSI Everest容器存储插件收编原低版本的fuxiFlexVolume容器存储功能。

商用

● Everest● storage-driver

4 v1.15.11及以上版本的混合集群支持2000节点的集群管理规模

在CCE中创建v1.15.11及以上版本的混合集群时，集群支持管理的大节点规模提高到2000个，用户可根据业务需求选择“2000节点”的集群管理规模。

商用

购买混合集群

5 CCE支持将低于v1.15版本的集群升级到v1.15版本

CCE支持将低于v1.15版本（如v1.9、v1.11、v1.13）的集群升级到v1.15版本。暂不支持在Console中直接升级，您可以通过提交工单申请升级。

申请

集群大版本升级说明

2020 年 5 月

序号


相关文档

1 CCE容器存储支持动态创建obsfs类型数据卷

CCE集群版本在v1.15及以上且Everest插件版本在1.0.2以上时，支持创建可供obsfs挂载的并行文件系统。

商用

使用对象存储卷






https://support.huaweicloud.com/usermanual-iam/iam_08_0001.html








序号


相关文档

2 鲲鹏集群支持ETCD数据备份

ETCD是一个分布式k-v数据库，在kubernetes中使用其管理集群的元数据，目前鲲鹏集群已支持ETCD数据备份。

商用

/

2020 年 4 月

序号


相关文档

1 创建节点/节点池时挂载数据盘支持加密

数据盘加密功能可为您的数据提供强大的安全防护，加密磁盘生成的快照及通过这些快照创建的磁盘将自动继承加密功能。

该功能仅支持1.13.10及以上版本的集群，v1.13.10以下版本的集群不显示此选项。

商用

● 购买混合集群

● 购买节点

● 创建节点池

2 CCE支持使用私有镜像创建工作节点镜像

CCE支持使用私有镜像创建工作节点镜像，该功能仅支持v1.15及以上版本集群。

公测（新加坡）

如何使用私有镜像制作工作节点镜像？（公测）

2020 年 3 月

序号


相关文档

1 工作负载伸缩，CustomedHPA支持定时或周期扩缩容

工作负载伸缩支持“指标触发”和“周期触发”两种策略，周期触发策略可选择每天、每周、每月或每年的具体时间点执行扩缩容动作。

商用

创建CustomedHPA策略












2020 年 1 月

序号


相关文档

1 节点池功能增强支持将自定义节点池中的节点迁移到默认的节点池。

商用

创建节点池

Autoscaler的节点池支持配置优先级，安装优先级策略扩容，实现非小资源浪费策略。

商用

管理节点池

2 Console全新风格上线

Console全新风格上线，为您提供更便捷的使用体验。

商用

/

2019 年 12 月

序号


相关文档

1 支持Kubernetes1.15 版本

支持Kubernetes v1.15.6版本集群创建，提供更安全可靠的容器集群服务。

商用

购买混合集群

2 CCE 1.15集群支持IPv6

集群中的node节点可以拥有两个不同版本的IP地址：IPv4地址和IPv6地址，这两个IP地址都可以进行内网/公网访问。

公测

如何通过CCE搭建IPv4/IPv6双栈集群？

3 增强节点和工作负载弹性伸缩

弹性伸缩功能增强了节点和工作负载弹性伸缩能力。工作负载伸缩提供HPA策略和CustomedHPA策略两种创建方式。节点伸缩支持定时、周期扩容，支持扩容策略关联到nodepool级别。

商用

● 工作负载伸缩

● 节点伸缩

4 集群和节点池支持配置管理

可对CCE集群和节点池的配置文件进行管理，通过该功能您可以对核心组件进行深度配置。

商用

● 集群配置管理

● 管理节点池

5 集群存储支持快照与备份功能

CCE通过华为云云硬盘EVS服务为您提供快照功能，指云硬盘数据在某个时刻的完整拷贝或镜像，是一种重要的数据容灾手段。

商用

快照与备份














序号


相关文档

6 CCE 1.15集群存储支持CSI能力

Everest是一个云原生容器存储系统，基于CSI为Kubernetes v1.15.6及以上版本集群对接华为云存储服务的能力。

商用

Everest（必装插件）

7 发布“Yangtse”网络模型，支持ENI调度方案

深度整合VPC原生ENI弹性网卡能力，采用VPC网段分配容器地址，支持ELB直通容器，享有高性能。

商用

购买混合集群

8 自动创建ELB需要支持对接企业项目

选择后可以直接将负载均衡创建在具体的ELB企业项目下。

商用

● 负载均衡( LoadBalancer )

● 七层负载均衡（Ingress）

2019 年 11 月

序号


相关文档

1 集群Master节点虚机支持物理反亲和

创建集群时，可在“高级设置”中选择控制节点分布在哪个可用区。高可用集群可选择多个可用区，非高可用集群只能选择一个可用区。

商用

购买混合集群

2019 年 10 月

序号


相关文档

1 发布系统管家功能支持集群节点故障检测（NPD）和集群节点运维监控（prometheus）

商用

● 系统体检

● 系统加固

2 支持创建守护进程集Daemonset

Console中支持Daemonset功能，且Service支持选择Daemonset负载类型

商用

创建守护进程集(DaemonSet)
















2019 年 9 月

序号


相关文档

1 支持docker镜像大小可配置

在创建节点时，“Kubernetes高级设置”中可设置一个容器可用的数据空间大小，设置范围为 10G到 80G。该参数仅在v1.13.10-r0及以上版本的集群中显示。

商用

购买节点

2 集群节点支持跨子网，优先overlay+节点跨子网

在创建节点时，“所在子网”处可选择该集群虚拟私有云下的任意子网，集群节点支持跨子网。该参数仅在v1.13.10-r0及以上版本的集群中显示。

商用

购买节点

3 四层负载均衡的Service，支持配置ELB健康检查

创建“负载均衡( LoadBalancer )”时，负载均衡配置中支持配置健康检查，可根据界面提示进行配置。

商用

负载均衡( LoadBalancer )

2019 年 8 月

序号


相关文档

1 支持管理节点池（nodepool）

节点池是集群中具有相同配置的一组节点，一个节点池包含一个节点或多个节点。您可以在CCE控制台中为集群创建新的自定义节点池，并可以方便的对新节点池进行编辑和删除操作，而不会影响整个集群。

商用

节点池管理







https://console.huaweicloud.com/cce2.0/?utm_source=helpcenter


历史变更

表 1-1 2019 年 7 月版本变更

序号


相关文档

1 鲲鹏集群（ARM指令集）正式上线

鲲鹏集群仅支持管理鲲鹏架构（ARM架构）的虚拟机节点，面向纯ARM虚拟机场景提供安全稳定的容器运行环境。

商用

购买鲲鹏集群

表 1-2 2019 年 6 月版本变更

序号


相关文档

1 全线支持K8Sv1.13.6版本集群创建，提供更安全可靠的容器集群服务。

CCE全线支持K8S v1.13.6版本集群创建，不再支持K8Sv1.9版本的集群创建，已创建的集群不受影响。

商用

购买混合集群

2 CCE权限管理功能正式上线

CCE权限管理是在Kubernetes的角色访问控制（RBAC）与统一身份认证服务（IAM）的能力基础上，打造的细粒度权限管理功能，支持基于IAM的细粒度权限控制和IAM Token认证，支持集群级别、命名空间级别的权限控制，帮助用户便捷灵活的对租户下的IAM用户、用户组设定不同的操作权限。

商用

CCE权限管理






表 1-3 2019 年 4 月版本变更

序号


相关文档

1 裸金属集群支持VPC Router，支持物理机与虚拟机混合。

CCE上线混合集群能力，原“虚拟机集群”更名为“混合集群”，支持同时管理虚拟机节点和裸金属节点，支持的场景包括：独立虚拟机场景（原虚拟机集群，虚拟机节点）、独立物理机场景（裸金属节点）、虚拟机与物理机混用场景。

商用

购买混合集群

2 创建集群时新增“服务网段”，集群的service地址支持可配置。

创建集群时新增“服务网段”，集群的service地址支持可配置。

商用

购买混合集群

表 1-4 2019 年 1 月版本变更

序号


相关文档

1 Console中工作负载详情页面支持用户修改yaml及升级回退功能

工作负载创建后，您可以对其执行伸缩、升级、编辑YAML、日志、监控、回退、删除等操作。

商用

管理无状态和有状态工作负载

2 发布webterminal插件，支持在Console中使用kubectl。

web-terminal是一款支持在web界面上使用kubectl的插件。它支持使用WebSocket通过浏览器连接linux，提供灵活的接口便于集成到独立系统中，可直接作为一个服务连接通过cmdb获取信息登陆服务器。

商用

web-terminal

表 1-5 2019 年之前历史版本变更

发布时间说明

2018-12-14 本次变更说明如下：

● 支持社区Kubernetes负载均衡亲和/反亲和调度能力。

● 网络管理中支持Service的修改。








发布时间说明


● 支持Kubernetes版本升级到1.11。● 支持Kubernetes容器组（POD）。

● Master支持多可用区。

● 支持物理机自动创建。

● 支持EFS（SFS Turbo极速文件存储）。


● 支持Kubernetes资源配额管理。

● 页面支持Yaml创建service。● 集群Master控制节点支持上报系统监控。


● Kubernetes版本升级到1.9.10版本。

● 更新数据面镜像。

● 支持角色访问控制机制（RBAC）。

● 修复部分BUG。


● 新增集群自动扩缩容插件。

● 支持集群权限管理控制。

● 改进界面交互设计，用户体验更友好。



● 支持创建包年包月的集群。

● 集群节点支持密码登录。

● 支持网络隔离策略。

● 支持基于YAML方式创建工作负载。

● 新增存储、镜像分发等插件。



● 集群支持创建/纳管CentOS7.4操作系统节点。

● 集群节点支持GPU节点。

● 支持对接NAT网关。




发布时间说明


● 支持删除命名空间管理。

● 经典ELB接口支持健康检查端口自定义。



● 集群节点支持CentOS 7.1操作系统。

● 支持对接第三方镜像，即用户搭建的私有镜像仓库。



● 应用支持跨AZ部署。

● 容器存储支持对接OBS对象存储服务。

● Kubernetes版本升级到1.9版本。

● 支持七层弹性负载均衡。

● 支持容器模板升级。

● 支持应用性能指标监控，如应用调用链分析、拓扑等。



● 支持集群节点自动扩容。

● 开放网络隔离策略，实现不同命名空间之间的网络隔离。



● 集群高可用。

● 集群中的节点支持SUSE 12操作系统。

● 集群中的节点支持包年包月。

● 支持创建定时任务和普通任务。

● 提升用户集群的备份，故障恢复，容灾能力。

● 支持多AZ部署（同时支持默认AZ）。

● 支持外接镜像仓库。


● 集群管理节点支持高可靠高可靠集群包括ETCD数据存储的高可用性和KubernetesMaster组件的高可用性，提供管理组件稳定性和可靠性。

● 支持私有集群升级集群快速升级到Kubernetes 新版本，并支持部分新特性的使用。

● 支持七层负载均衡能力通过容器编排模板ingress和traefik支持七层负载均衡能力。



发布时间说明


● 支持容器优雅缩容为应用删除提供一个时间窗，预留给生命周期中PreStop阶段执行命令。若超过此时间窗，进程仍未停止，该应用将被强制删除。

● 容器计算节点支持 NVIDIA GPUs 的资源管理

● 容器存储支持对接文件存储文件存储适用于多种应用场景，包括媒体处理、内容管理、大数据和分析应用程序等。

● 支持Helm模板编排支持一键式快速部署高可用mysql、etcd、redis集群部署，简化了Kubernetes资源的安装管理过程。

● 支持通过kubectl工具管理kubernetes集群

● 支持应用日志快速查看应用日志，通过应用日志上下文相关信息，快速定位线上问题。

● 有状态应用支持滚动升级有状态应用升级过程中，业务会同时均衡分布到新老实例上，保障业务不中断。

● 优化集群创建速度，创建速度小于6分钟

2017-11- 10 第一次正式发布，本次变更说明如下：

● 裸金属私有集群容器可直接部署在“裸金属私有集群”（华为云的BMS裸金属服务器）上，获得比在虚拟机（ECS）私有集群上更高的计算和网络性能，满足用户高性能场景的需求。

● 纳管弹性云服务器和裸金属服务器用户可将已购买的弹性云服务器（ECS）或裸金属服务器（BMS）加入到CCE私有集群，扩大集群的规模，提升用户的资源利用率。

● VPC网络采用VPC路由的方式与底层网络深度整合，可以获得更高的网络性能。

● 容器挂载云硬盘可为容器实例挂载云硬盘（EVS），实现容器的持久化能力，进而使用户可以部署“有状态容器应用”。

此外，CCE新版支持了当前Kubernetes的新版，并对容器的企业级服务能力进行了深度优化。



2 Kubernetes 版本发布说明

2.1 CCE 发布 Kubernetes 1.17 版本说明华为云云容器引擎（CCE）严格遵循社区一致性认证。本文介绍CCE发布Kubernetes1.17版本所做的变更说明。

API 变更

● apps/v1beta1和apps/v1beta2下所有资源不再提供服务，使用apps/v1替代。

● extensions/v1beta1下daemonsets, deployments, replicasets不再提供服务，使用apps/v1替代。

● extensions/v1beta1下networkpolicies不再提供服务，使用networking.k8s.io/v1替代。

● extensions/v1beta1下podsecuritypolicies不再提供服务，使用policy/v1beta1替代。

● extensions/v1beta1 ingress v1.20版本不再提供服务,当前可使用networking.k8s.io/v1beta1。

● scheduling.k8s.io/v1beta1 and scheduling.k8s.io/v1alpha1下的PriorityClass计划在1.17不再提供服务，迁移至scheduling.k8s.io/v1。

● events.k8s.io/v1beta1中event series.state字段已废弃，将在1.18版本中移除。

● apiextensions.k8s.io/v1beta1下CustomResourceDefinition已废弃，将再1.19不在提供服务，使用apiextensions.k8s.io/v1。

● admissionregistration.k8s.io/v1beta1 MutatingWebhookConfiguration 和ValidatingWebhookConfiguration 已废弃，将在1.19不在提供服务，使用admissionregistration.k8s.io/v1替换。

● rbac.authorization.k8s.io/v1alpha1 and rbac.authorization.k8s.io/v1beta1被废弃，使用rbac.authorization.k8s.io/v1替代，v1.20会正式停止服务。

● storage.k8s.io/v1beta1 CSINode object 废弃并会在未来版本中移除。

其他废弃和移除

● 移除OutOfDisk node condition，改为使用DiskPressure。

云容器引擎新动态 2 Kubernetes 版本发布说明


● scheduler.alpha.kubernetes.io/critical-pod annotation 已被移除，如需要改为设置priorityClassName。

● beta.kubernetes.io/os 和 beta.kubernetes.io/arch 在1.14版本中已经废弃，计划在1.18版本中移除。

● 禁止通过--node-labels 设置kubernetes.io和k8s.io为前缀的标签,老版本中kubernetes.io/availablezone该label在1.17中移除，整改为failure-domain.beta.kubernetes.io/zone获取AZ信息。

● beta.kubernetes.io/instance-type 被废弃，使用node.kubernetes.io/instance-type替代。

● 移除{kubelet_root_dir}/plugins路径。

● 移除内置集群角色system:csi-external-provisioner 和 system:csi-external-attacher。

CCE 对 Kubernetes 1.17 版本的增强

CCE针对Kubernetes 1.17版本做了如下方面的增强：

表 2-1 主要增强特性

序号

项目描述

1 功能增强 ● 支持创建CCE Turbo集群，支持增强型Yangtse网络

● 集成容器安全服务CGS● 支持节点重置（操作系统需为EulerOS 2.5/CentOS

7.6）● 支持工作负载自动伸缩（HPA）

2 可靠性增强容器ENI网卡资源增加自动回收清理机制

3 数据面监控告警能力增强

● npd增加metrics接口提供自身的监控数据

● hpa-controller的metrics数据pull到普罗

● npd的配置文件改成通过configmap挂载

● console增加各个插件的监控数据展示

● npd支持监控容器隧道网络ovs组件

集群管理

表 2-2 集群组件优化

核心组件版本号版本变化

Kubernetes 1.17.9-r1 CCE支持Kubernetes 1.17混合集群和CCE Turbo集群，发布Kubernetes 1.17.9-r0版本。

Docker 18.09.0.91 版本与v1.15.11-r1版本的集群保持一致。



核心组件版本号版本变化

虚拟机节点OS

CentOS Linuxrelease 7.6

内核信息：3.10.0-1062.12.1.el7.x86_64

EulerOS release2.5

内核信息：3.10.0-862.14.1.5.h428.eulerosv2r7.x86_64

裸金属节点 EulerOS release2.5（弹性裸金属服务器）

3.10.0-862.14.1.5.h428.eulerosv2r7.x86_64该实例的规格信息请参见C6型弹性云服务器的规格。

EulerOS release2.3（裸金属服务器）

3.10.0-514.41.4.28.h62.x86_64该服务器的规格信息请参见裸金属服务器实例家族。

容器网络Yangtse

canal-controller20.6.0.B004

canal-apiserver20.6.0.B004

canal-agent20.6.0.B004

● VPC网络模式和overlay网络模式下，OVS和ipvlan支持3.10.0-1062.18.1.el7.x86_64内核。

● overlay网络模式添加ovs euler2.3 h60版本支持。

● ENI网络模式支持trunkport。

插件管理

插件市场中的如下插件支持在Kubernetes 1.17版本集群下使用，部分插件在功能方面进行增强。

表 2-3 插件管理

序号

插件名称当前版本

更新特性相关文档

1 everest 1.1.11 ● 配置安全加固

● 支持挂载三方OBS存储

● 切换更优性能的EVS查询接口

● 默认快照以clone模式创建磁盘

● 优化和增强Attach和Detach磁盘状态检测和日志输出

● 增加认证过期判断可靠性

详情请参见Everest。

2 coredns 1.17.1 / 详情请参见CoreDNS。

3 npd 1.13.2 增加资源限制，增强CNI插件的检测能力

详情请参见npd。



https://support.huaweicloud.com/productdesc-ecs/zh-cn_topic_0086381982.html

https://support.huaweicloud.com/productdesc-ecs/zh-cn_topic_0086381982.html

https://support.huaweicloud.com/productdesc-bms/bms_01_0003.html

https://support.huaweicloud.com/productdesc-bms/bms_01_0003.html




序号


更新特性相关文档

4 cce-hpa-controller

1.1.3 支持周期扩缩容规则详情请参见cce-hpa-controller。

5 autoscaler 1.17.2 / 详情请参见autoscaler。

6 metrics-server

1.0.3 / 详情请参见metrics-server。

7 prometheus 1.15.1 / 详情请参见prometheus。

8 web-terminal

1.0.5 / 详情请参见web-terminal。

9 Dashboard 2.0.0 / 详情请参见Dashboard。

10 gpu-beta 1.1.10 支持用户自定义驱动地址下载驱动，支持1.13, 1.15, 1.17集群

详情请参见gpu-beta。

11 huawei-npu 1.0.3 支持容器里使用huawei NPU设备的管理插件

详情请参见huawei-npu。

存储管理

CCE支持挂载第三方租户的OBS桶

表 2-4 存储管理 bugfix

序号描述

1 解决删除集群时间较长，且删除后有sfs存储残留的问题。

2 扩容EVS盘时，若EVS资源不存在，增加事件。

网络管理
















序号

特性名称描述阶段相关文档

1 Kubernetes 1.17版本支持CCETurbo集群

Kubernetes 1.17版本支持创建CCE Turbo集群，CCE Turbo集群支持虚拟机和裸金属节点混合，基于新一代容器网络模式（Yangtse网络）提供极致网络性能体验。

公测请提交工单申请公测

2 支持独享型ELB直通容器

深度整合VPC原生ENI弹性网卡能力，采用VPC网段分配容器地址，支持ELB直通容器，基于新一代容器网络模式提供机制网络性能体验。

公测创建独享型负载均衡器

表 2-5 网络管理 bugfix

序号描述

1 DNAT服务更新体验优化，删减无效告警。

参考链接

关于Kubernetes 1.17与其他版本的性能对比和功能演进的更多信息，请参考：

● Kubernetes v1.17.0 Release Notes● Kubernetes v1.16.0 Release Notes


为了能够更好地方便您使用容器服务，确保您使用稳定又可靠的Kubernetes版本，请您务必在维护周期结束之前升级您的Kubernetes集群。CCE集群新版本升级，请参见集群大版本升级说明。

版本说明

CCE针对Kubernetes v1.15版本提供了全链路的组件优化和升级，v1.15版本包含两个小版本，即v1.15.11-r1和v1.15.6-r1。

API 变更● extensions/v1beta1中Ingress 已弃用，1.19正式暂停使用，迁移到

networking.k8s.io/v1beta1● extensions/v1beta1中NetworkPolicy 1.16正式暂停使用，迁移到

networking.k8s.io/v1






https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.17.md#changes

https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.16.md#kubernetes-v1160-release-notes


● extensions/v1beta1中PodSecurityPolicy 1.16正式暂停使用，迁移到policy/v1beta1

● extensions/v1beta1, apps/v1beta1, or apps/v1beta2的 DaemonSet,Deployment, and ReplicaSet，迁移至apps/v1 ，1.16版本暂停使用

● PriorityClass 升级到scheduling.k8s.io/v1,scheduling.k8s.io/v1beta1 和scheduling.k8s.io/v1alpha1 1.17正式废弃.

● events.k8s.io/v1beta1 Event API 中 series.state字段废弃，将在1.18版本中移除

v1.15.11 版本主要特性

集群管理

表 2-6 集群管理新增特性

序号特性名称描述相关文档

1 支持创建v1.15.11-r1版本的混合集群

混合集群支持虚拟机与裸金属服务器混合、支持GPU、NPU等异构节点的混合部署，基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境。

购买混合集群

2 支持将老版本（如v1.9、v1.11、v1.13）的集群升级到v1.15版本。

暂不支持在Console中将v1.13升级到v1.15，您可以通过提交工单申请升级。

详情参见集群大版本升级说明。

3 CCE的EPS细粒度授权支持SAML联邦用户场景，用户可使用SAML联邦方式访问CCE。

华为云支持基于SAML 2.0协议的单点登录，如果您已经有自己的身份认证系统，同时您的用户需要使用您华为云账号内的资源，您可以使用华为云的身份提供商功能，实现用户使用企业身份提供商（IdentityProvider ，简称IdP）账号单点登录华为云，这一过程称之为联邦身份认证。

详情请参见身份提供商概述。

4 混合集群支持2000节点的集群管理规模。

混合集群支持2000节点的集群管理规模。

说明为保证可靠性，1000及以上集群管理规模默认开启多控制节点，不支持单一控制节点。

购买混合集群

5 支持创建v1.15.11-r1版本的鲲鹏集群（ARM）

鲲鹏容器集群（ARM指令集）提供了容器在鲲鹏（ARM架构）服务器上的运行能力，提供与X86服务器相同的调度伸缩，快速部署能力，并具有大幅降低成本的潜力。

购买鲲鹏集群













6 升级操作系统的Docker版本至新

升级CentOS 7.6和Euler0S 2.5的Docker至新的18.0.91。

OS版本支持范围请参见操作系统版本同步机制。

7 节点池的配置管理支持cpu-manager绑核策略可更改

配置管理功能方便对CCE集群中的kubernetes配置参数进行管理，对核心组件进行深度配置。

管理节点池

插件管理

插件市场中的Autoscaler、CoreDNS、Everest、dashboard插件支持在鲲鹏集群（ARM）下安装，支持双架构适配X86/ARM混合场景。

表 2-7 插件特性更新

序号


更新特性备注

1 Autoscaler 1.15.6 ● 修复scale_result指标

● 支持nodepool级别扩容策略

● 支持在鲲鹏集群（ARM）下创建

详情请参见autoscaler。

2 CoreDNS 1.15.3 ● 同步社区修改，修复kube-apiserver down， corednscrash issue


详情请参见CoreDNS。

3 Everest 1.1.8 ● v1.13升级到v1.15场景支持接管flexvolume fuxi



4 huawei-npu

1.0.3 支持容器里使用huawei NPU设备的管理插件

详情请参见huawei-npu。

5 virtual-kubelet

1.0.1 ● 支持跨服务互通

● 卸载时资源清理回收

详情请参见virtual-kubelet。

6 dashboard 1.0.7 ● 支持对接kubernetes 1.15● 支持在鲲鹏集群（ARM）下

创建

详情请参见Dashboard。

7 tf-operator 1.0.1 Tensorflow operator支持volcano批调度。

详情请参见tf-operator。



https://support.huaweicloud.com/bulletin-cce/cce_bulletin_0004.html

https://support.huaweicloud.com/bulletin-cce/cce_bulletin_0004.html











存储管理

表 2-8 存储管理新增特性


1 CSI Everest插件支持接管fuxiFlexvolume的所有功能

在升级到v1.15.11-r1版本的集群后，CSI Everest插件支持接管fuxi Flexvolume（即storage-driver插件）容器存储的所有功能。

说明

● v1.13.11-r1升级到v1.15.11-r1版本的集群后，原v1.13的fuxiFlexvolume（即storage-driver插件）容器存储由v1.15的Everest插件接管（插件版本v1.1.6及以上），原有功能保持不变，但请注意不要新建fuxi Flexvolume的存储，否则将导致部分存储功能异常。

● v1.15.11-r1作为fuxiFlexvolume和CSI Everest兼容接管的过渡版本，计划在v1.17集群将移除对fuxiFlexvolume的支持，请用户在v1.15.11版本范围内将对fuxiFlexvolume的使用切换CSIEverest上。

● 本版本的集群兼容fuxiFlexVolume的存储，存储能力请优先使用CSI方式。


2 动态创建SFS&OBS对象桶，PVC支持企业项目功能

企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。了解更多企业项目相关信息，请查看企业管理。

使用对象存储卷

表 2-9 存储管理 Bugfix

序号名称

1 解决v1.15集群挂载SFS OBS等非云硬盘类型，PV的Pod成功退出后kubelet日志一直报operationExecutor.DetachVolume failed问题。

2 解决节点关机，重启后无法触发detach问题。

网络管理




https://support.huaweicloud.com/usermanual-em/zh-cn_topic_0123692049.html


表 2-10 网络管理新增特性


1 Ingress的path路径匹配支持perl格式的正则表达式

Ingress的path路径匹配支持perl格式的正则表达式

七层负载均衡（Ingress）

表 2-11 网络管理 Bugfix

序号名称

1 修复容器域名解析缓慢问题。

2 修复更新负载均衡类型的service时，负载均衡接口缓慢会出现更新失败的问题，解决service变更为负载均衡类型后监听器添加不上问题。

鲲鹏集群（ARM）

表 2-12 ARM 新增特性


1 支持创建v1.15版本的鲲鹏集群（ARM）

鲲鹏容器集群（ARM指令集）提供了容器在鲲鹏（ARM架构）服务器上的运行能力，提供与X86服务器相同的调度伸缩，快速部署能力，并具有大幅降低成本的潜力。

购买鲲鹏集群

2 部分插件支持在鲲鹏集群（ARM）下安装

插件市场中的Autoscaler、CoreDNS、Everest、dashboard插件支持在鲲鹏集群（ARM）下安装，支持双架构适配X86/ARM混合场景。

插件管理

v1.15.6 版本主要特性

集群管理







表 2-13 集群管理新增特性


1 支持创建v1.15.6-r1版本的混合集群

混合集群支持虚拟机与裸金属服务器混合、支持GPU、NPU等异构节点的混合部署，基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境。

购买混合集群

2 鲲鹏集群支持ETCD数据备份

ETCD是一个分布式k-v数据库，在kubernetes中使用其管理集群的元数据，目前鲲鹏集群已支持ETCD数据备份。

/

3 创建节点/节点池时挂载数据盘支持加密

数据盘加密功能可为您的数据提供强大的安全防护，加密磁盘生成的快照及通过这些快照创建的磁盘将自动继承加密功能。

● 购买节点

● 创建节点池

4 集群和节点池支持配置管理

可对CCE集群和节点池的配置文件进行管理，通过该功能您可以对核心组件进行深度配置。

● 集群配置管理

● 管理节点池

存储管理

表 2-14 存储管理新增特性


1 CCE 1.15集群存储支持CSI的云原生容器存储系统能力

Everest是一个云原生容器存储系统，基于CSI为Kubernetesv1.15.6及以上版本集群对接华为云存储服务的能力。

Everest（必装插件）

2 支持导入不同VPC下的SFS Turbo

极速文件存储（SFS Turbo）具有按需申请，快速供给，弹性扩展，方便灵活等特点，适用于DevOps、容器微服务、企业办公等场景。目前支持导入不同VPC下的SFS Turbo存储卷。

使用极速文件存储卷

IPv6












表 2-15 IPv6 特性


1 CCE 1.15集群支持IPv4/IPv6访问

集群中的node节点可以拥有两个不同版本的IP地址：IPv4地址和IPv6地址，这两个IP地址都可以进行内网/公网访问。

如何通过CCE搭建IPv4/IPv6双栈集群？

参考链接

社区v1.13与v1.15版本之间的CHANGELOG

● v1.14到v1.15的变化：

https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.15.md

● v1.13到v1.14的变化：



表 2-16 v1.13 版本集群说明

Kubernetes版本（CCE增强版）

版本说明

v1.13.10-r0 主要特性：

● 混合集群支持添加ARM节点

● 负载均衡支持设置名称

● 4层负载均衡支持健康检查，7层负载均衡支持健康检查/分配策略/会话保持

● 混合集群支持创建裸金属节点（容器隧道网络）

● 支持AI加速型节点（搭载海思Ascend 310 AI处理器），适用于图像识别、视频处理、推理计算以及机器学习等场景

● 支持配置docker baseSize● 支持命名空间亲和调度

● 支持节点数据盘划分用户空间

● 支持集群cpu管理策略

● 支持集群下的节点跨子网（容器隧道网络）











版本说明

v1.13.7-r0 主要特性：

● Kubernetes同步社区1.13.7版本

● 支持网络平面（NetworkAttachmentDefinition）

参考链接


● v1.12到v1.13的变化：


● v1.11到v1.12的变化：



表 2-17 v1.11 版本集群说明


版本说明

v1.11.7-r2 主要特性：

● GPU支持V100类型

● 集群支持权限管理

v1.11.7-r0 主要特性：


● 支持创建节点池（nodepool），虚拟机/鲲鹏ARM集群均支持

● 混合集群支持创建裸金属节点（vpc 网络），支持裸金属和虚机混合部署

● GPU支持V100类型

● 1.11集群对接AOM告警通知机制

● Service支持访问类型切换

● 支持服务网段

● 集群支持自定义每个节点分配的IP数（IP分配）








版本说明

v1.11.3-r2 主要特性：

● 集群支持IPv6双栈

● ELB负载均衡支持源IP跟后端服务会话保持

v1.11.3-r1 主要特性：

● Ingress的URL匹配支持Perl语法的正则表达式

v1.11.3-r0 主要特性：


● 集群控制节点支持多可用区

● 容器存储支持对接SFS Turbo极速文件存储

参考链接


● v1.10到v1.11的变化：


● v1.9到v1.10的变化：


2.5 CCE 发布 Kubernetes 1.9 及之前版本说明华为云云容器引擎（CCE）严格遵循社区一致性认证。本文介绍CCE发布Kubernetes1.9及之前版本所做的变更说明。

表 2-18 v1.9 及之前版本集群说明


版本说明

v1.9.10-r2 主要特性：

● ELB负载均衡支持源IP跟后端服务会话保持

v1.9.10-r1 主要特性：

● 支持对接SFS存储

● 支持Service自动创建二代ELB● 支持公网二代ELB透传源IP● 支持设置节点大实例数maxPods








版本说明

v1.9.10-r0 主要特性：

● kubernetes对接ELB/Ingress，新增流控机制


● 支持Kubernetes RBAC能力授权

问题修复：

● 修复操作系统cgroup内核BUG导致概率出现的节点内存泄漏问题

v1.9.7-r1 主要特性：

● 增强PVC和PV事件的上报机制，PVC详情页支持查看事件

● 支持对接第三方认证系统

● 集群支持纳管EulerOS2.3的物理机

● 数据盘支持用户自定义分配比例

● 裸金属场景支持对接EVS云硬盘存储

● 裸金属场景下支持IB网卡

● 裸金属集群支持通过CM-v3接口创建节点


● 新建集群的Docker版本升级到1706● 支持DNS级联

● 支持插件化管理


● 支持7层ingress的https功能

● 有状态工作负载支持迁移调度更新升级


● 集群支持创建/纳管CentOS7.4操作系统的节点

● kubernetes的Service支持对接DNAT网关服务

● NetworkPolicy能力开放

● 增强型ELB支持Service配置多个端口

问题修复：

● 修复kubernetes资源回收过程中连不上kube-apiserver导致pod残留的问题

● 修复节点弹性扩容数据不准确的问题




版本说明


● 经典型ELB支持自定义健康检查端口

● 经典型ELB性能优化

● ELB四层负载均衡支持修改Service的端口

问题修复：

● 修复网络插件防止健康检查概率死锁问题

● 修复高可用集群haproxy连接数限制问题



● 集群节点支持CentOS 7.1操作系统

● 支持GPU节点，支持GPU资源限制

● 支持web-terminal插件

v1.7.3-r13 主要特性：

● 新建集群的Docker版本升级到1706● 支持DNS级联

● 支持插件化管理

● 增强PVC和PV事件的上报机制

v1.7.3-r12 主要特性：

● 集群支持创建/纳管CentOS7.4操作系统的节点

● kubernetes的Service支持对接DNAT网关服务

● NetworkPolicy能力开放

● 增强型ELB支持Service配置多个端口

问题修复：

● 修复kubernetes资源回收过程中连不上kube-apiserver导致pod残留的问题

● 修复节点弹性扩容数据不准确的问题

● 事件老化周期提示修正：集群老化周期为1小时




版本说明

v1.7.3-r11 主要特性：

● 经典型ELB支持自定义健康检查端口

● 经典型ELB性能优化

● ELB四层负载均衡支持修改Service的端口

● 支持删除命名空间

● 支持EVS云硬盘存储解绑

● 支持配置迁移策略

问题修复：

● 修复网络插件防止健康检查概率死锁问题

● 修复高可用集群haproxy连接数限制问题

v1.7.3-r10 主要特性：

● 容器网络支持Overlay L2模式

● 集群节点支持GPU类型虚机

● 集群节点支持CentOS 7.1操作系统，支持操作系统选择

● Windows集群支持对接二代ELB● 支持弹性文件服务SFS导入

● 裸金属场景支持对接SFS文件存储、OBS对象存储


● 工作负载支持跨AZ部署

● 容器存储支持OBS对象存储服务

● 支持ELB L7负载均衡

● Windows集群支持EVS存储

● 裸金属集群支持devicemapper direct-lvm模式


● 集群支持节点弹性扩容

● 支持纳管ARM节点


● 容器隧道网络集群支持纳管SUSE 12sp2节点

● docker支持direct-lvm模式挂载devicemapper● 集群支持安装dashboard● 支持创建Windows集群


● 集群存储对接原生EVS接口




版本说明


● 支持创建HA高可靠集群

问题修复：

● 节点重启后容器网络不通


● 集群性能优化

● 裸金属集群支持对接ELB


● 容器存储支持KVM虚拟机挂载


● 容器存储支持SFS文件存储

● 工作负载支持自定义应用日志

● 开放工作负载优雅缩容

问题修复：

● 修复容器存储AK/SK会过期的问题


● kube-dns支持外部域名解析



● 支持ELB负载均衡

● 容器存储支持XEN虚拟机挂载

● 容器存储支持EVS云硬盘存储



最新动态2019年9月 序 号 功能名称 功能描述 阶 段 相关文档 1...

Documents

最新动态2019年9月序号功能名称功能描述阶段相关文档 1...