amazon aurora 为云计算而生的关系型数据库 · amazon aurora mysql 的速度可达mysql...

AWS 中国（宁夏）区域由西云数据运营AWS 中国（北京）区域由光环新网运营AWS 中国（宁夏）区域由西云数据运营AWS 中国（北京）区域由光环新网运营

章平，AWS 解决方案架构师

Amazon Aurora 为云计算而生的关系型数据库

AWS 中国（宁夏）区域由西云数据运营AWS 中国（北京）区域由光环新网运营

AWS 数据库服务专为满足您的所有应用程序需求而构建

Amazon

DynamoDB

Amazon

Neptune

Amazon

RDS

Aurora CommercialCommunity

Amazon

Timestream

Amazon

QLDB

Amazon

ElastiCache

关系键 - 值文档内存图时间序列分类账

Amazon

DocumentDB


高性能和高可扩展性高可用性和高耐用性

高度安全完全托管

• 5 倍于标准 MySQL 的吞吐量

• 3 倍于PostgreSQL 的吞吐量

• 性能相当而成本仅为商用DB

的1/10

• 可以跨3个AZ，最多 15 个可

读副本

• 存储自增长，单实例可达

64TB

• 可用性高于 99.99%

• 具有容错及自我修复能

力

• 跨3个AZ复制6个数据

副本

• 数据持续备份到

Amazon S3

• 实例故障转移小于3 秒

• 通过Amazon

VPC 进行网络级

隔离

• 支持静态存储及

传输时加密

• 集群中的备份、

快照和副本自动

加密

• 无需担心硬件、软件

补丁、设置、配置或

备份等数据库管理任

务

• 自动持续监控并将其

备份到 Amazon S3

• 可以实现精细的时间

点恢复。

兼容 MySQL 和 PostgreSQL 的关系数据库，为云打造。

性能和可用性与商用数据库相当，成本只有 1/10。

Amazon Aurora 的与众不同


写入与读取吞吐量Amazon Aurora MySQL 的速度可达 MySQL 的5倍

0

50,000

100,000

150,000

200,000

250,000

MySQL 5.6 MySQL 5.7 MySQL 8.0

Aurora 5.6 Aurora 5.7

0

100,000

200,000

300,000

400,000

500,000

600,000

700,000

800,000

MySQL 5.6 MySQL 5.7 MySQL 8.0

Aurora 5.6 Aurora 5.7

写入吞吐量读取吞吐量

在R4.16XL实例上运行Sysbench处理250份表，每份表包含20万行


Amazon Aurora 体系结构(横向扩展)AZ 1 AZ 3

PrimaryInstance

Amazon S3

AZ 2

ReplicaInstance

ASYNC4/6

QUORUM

DISTRIBUTED WRITES

ReplicaInstance

Logging + Storage

SQL

Transactions

Caching

控制层面数据层面

Amazon S3

Amazon DynamoDB

Amazon SWF

Amazon Route 53

将日志记录和存储层移入多租户，横向扩展为数据库

优化的存储服务

与 Amazo EC2､Amazon VPC、Amazon DynamoDB、

Amazon SWF、Amazon Route 53 等其他AWS服务

集成，用于控制层面的操作

持续备份与 Amazon S3 集成，并具有11个9的持久性


Amazon Aurora 只读副本的不同之处

Log Records

Binlog

Data

Double-Write Buffer

FRM Files, Metadata

MySQL With Replica Amazon Aurora

AZ 1 AZ 2

Primary

Instance

Replica

Instance

Amazon Elastic

Block Store

(EBS)

Amazon

S3

Amazon EBS

mirror

Amazon EBS

Amazon EBS

mirror

PiTR

Sequential

write

Sequential

write

AZ 1 AZ 3

Primary

Instance

Amazon

S3

AZ 2

Replica

Instanceasync

4/6

quorum

Distributed

writes

主要改进

日志结构化存储

对异常值的一致性容忍度

显着提高网络I/O的使用效率


Amazon Aurora 存储节点的I/O处理

LOG RECORDS

Primary

Instance

INCOMING QUEUE

STORAGE NODE

Amazon S3 BACKUP

1

2

3

4

5

6

7

8

UPDATE

QUEUE

ACK

HOT

LOG

DATA

BLOCKS

POINT IN TIME

SNAPSHOT

GC

SCRUB

COALESCE

SORT

GROUP

PEER TO PEER GOSSIPPeer

Storage

Nodes

① 所有步骤都是异步的

② 仅有步骤1与2处于前台延时过程中

③ 输入队列比MySQL少46倍

④ 有利于延时敏感型操作

⑤ 使用磁盘空间缓冲活动中的峰值

实际运行效果

I/O 控制流① 接收记录并添加到内存队列中

② 持久化日志记录并确认

③ 组织日志记录并鉴别日志中的缝隙

④ 通过Gossip协议填补对等节点中缝隙

⑤ 将日志记录合并到新版本的数据块中

⑥ 定期将日志和新块中转到 Amazon S3

⑦ 定期垃圾回收旧块

⑧ 定期对块进行CRC校验


Amazon Aurora 存储引擎概述

数据在3个Availability Zones中复制6份持续备份到 Amazon S3 (11个9的持久性)

持续监视节点和磁盘并自动修复10GB 的区段作为修复和存储根据用量自动增长的基础，存储最大扩展到64 TB

Quorum system 读写;

Quorum membership 变更不会阻塞写

AZ 1 AZ 2 AZ 3

Amazon

S3

DatabaseNode

Storage

Node

Storage

Node

Storage

Node

Storage

Node

Storage

Node

Storage

Node

Storage

Monitoring


可能问题?

Segment 损坏 (磁盘)

节点损坏(主机)

AZ 损坏 (网络或数据中心)

优化4 out of 6 write quorum

3 out of 6 read quorum

Peer-to-peer replication for repairs

SQL

Transaction

AZ 1 AZ 2 AZ 3

Caching

Amazon 存储引擎容错

SQL

Transaction

AZ 1 AZ 2 AZ 3

Caching


Amazon Aurora 只读副本可用性

自动检测并替换失败的database nodes

自动检测并重启失败的database processes

只读副本在主节点故障时自动提升 (failover)

客户可以指定fail-over 顺序

AZ 1 AZ 3AZ 2

Primary

NodePrimary

Node

Primary

Database

Node

Primary

NodePrimary

NodeRead

Replica

Primary

NodePrimary

NodeRead

Replica

Database

and

Instance

Monitoring

性能

• 客户程序可以将读流量指向只读副本

• 读负载在多个只读副本间均衡


支持15个只读副本

自动添加或删除只读副本

自动故障转移

集群读写与只读终端节点

Availabilit

y Zone 1

横向扩展读取性能

Availabilit

y Zone 2

Availabilit

y Zone 3

Application

Read

Replica 1

Read

Replica 2

Master

Node

Shared distributed storage volume

Amazon Aurora—扩展与高可用


SEGMENT

SNAPSHOT

LOG

RECORDS

RECOVER

Y POINT

SEGMENT 1

SEGMENT 2

SEGMENT 3

TIME

Amazon Aurora 数据库备份与恢复

并行为每个段定期拍快照，将重做日志流传输到S3存储桶

持续进行备份，并不影响性能或可用性

在还原时，从 Amazon S3 返回相应的段快照与重做日志流到存

储节点

以并行和异步方式应用重做日志流到段快照


传统数据库

需要从last checkpoint重放所有日志

一般来说从checkpoints开始5分钟内

在MySQL and PostgreSQL上是Single-threaded需要大量的disk

accesses

Amazon Aurora

启动时无需重放，存储系统transaction-aware

底层存储不管是否恢复阶段都会持续日志

合并操作是并行，分布和异步的

Checkpointed Data Log

Crash at T0 requires

a re-application of the

SQL in the log since

last checkpoint

T0 T0

Crash at T0 will result in logs being

applied to each segment on

demand, in parallel, asynchronously

Amazon Aurora 紧急崩溃恢复


Amazon Aurora 只读副本自动伸缩技术

MASTERREAD

REPLICA

READ

REPLICA

READ

REPLICA

SHARED DISTRIBUTED STORAGE VOLUME

READER END-POINT

跨多个可用区最多可提升15个只读副本

基于重做日志复制的副本低延时 - 通常<10毫秒

读取器端点具有负载平衡和自动缩放(CPU及连接数)

Availability

Zone 1

Availability

Zone 2

Availability

Zone 3


克隆数据库而不复制数据

瞬间创建一个数据库克隆

仅在发生写入时复制数据(COW) –

当原始数据和克隆卷数据不同时

应用场景

克隆生产数据库以运行测试

数据库重组

为分析提供一个时间点快照，不影

响生产环境PRODUCTION DATABASE

CLONE CLONE

CLONEDEV/TEST

APPLICATIONS

BENCHMARKS

PRODUCTION

APPLICATIONS

PRODUCTION

APPLICATIONS

Amazon Aurora 数据库克隆技术


自动恢复缓存

将 cache 从数据库进程中分离出来

数据库重启时Cache 可以依旧保持热度

更快地恢复全量加载操作

实例崩溃恢复+ 可存活cache = 更快速容易地从DB失败中恢复

SQL

Transactions

Caching

SQL

Transactions

Caching

SQL

Transactions

Caching

Caching process 和DB process 分离开来并在数据库重启时保持 warm


数据回溯

快速恢复用户的错误操作

使用 Backtrack 允许您将数据库回退到以前的某个时间点，无需从备份还原，即使是大型数据库也只需要几秒钟时间。

可以多次恢复，直到需要的时间点

t0 t1 t2

t0 t1

t2

t3 t4

t3

t4

Rewind to t1

Rewind to t3

Invisible Invisible


跨区域副本容灾

提升replica 到master实现容灾

不同地区的客户离数据更近

轻松迁移


当任何的实例故障，应用零停机

当任何的AZ故障，应用零停机

更快速的写入性能

更强大的扩展能力

Amazon Aurora 多主节点(Multi-Master)

Availabilit

y Zone 1

Availabilit

y Zone 2

Availabilit

y Zone 3

Application

Read/Write

Master 1

Shared distributed storage volume

Read/Write

Master 2

Read/Write

Master 3

横向扩展读/写性能

通过使用 Amazon Aurora Multi-Master，可以在多个可用区中创建多个读取/写入主实例。应用

程序就可以在集群的多个数据库实例中读取和写入数据，就像目前可以在只读副本中读取一样。


按需自动启停

无服务器化、自动扩展

仅为您使用的资源按秒付费

Amazon Aurora 无服务器架构(Serverless)

Warm Capacity

Pool

Application

Database Endpoint

Scalable Database Capacity

(Compute + Memory)

Shared Distributed Storage

Serverless 是一种面向 Amazon Aurora 的按需扩展配置，数据库将根据您的应用程序的需求来自动启

动、关闭以及纵向和横向扩展数据库容量。可在云中运行关系数据库，而无需管理数据库实例或集群。


并行、分布式处理

让处理更接近数据

减少缓冲池污染

数据库节点

存储节点

下推预测聚合结果

降低查询延迟——并行查询


众所周知的决策支持基准

我们对 Amazon Aurora 的并行查询功能进行了测试，并发现性能提升效果非常显著。具体来说，我们得以将实例

类型从r3.8xlarge降低至r3.2xlarge。对于这一用例，并行查询代表着巨大的性能进步。

云数据架构师Jyoti Shandil

0x

20x

40x

60x

80x

100x

120x

Q1 Q3 Q5 Q7 Q9 Q11 Q13 Q15 Q17 Q19 Q21

减少查询响应时间

峰值加速约120倍

超过10倍加速：22项查询中的8项

并行查询——性能结果


仪表板显示数据库负载

操作简单——支持拖放等直观操作

强大——可通过放大进行深入观察

确定性能瓶颈来源

按首要SQL分类

按主机、用户、等待事件等分类

可调节时间范围

小时、天、周、月

最高保留近2年数据；免费保留近7天数据

性能洞察能力

最大vCPUCPU瓶颈

SQL等待/高CPU


MySQL shards

Amazon Aurora

Amazon DMS

MySQL shards

MySQL shards

EC2 MySQL

RDS MySQL

Ingest snapshot

Catchup using binlog

replication

Aurora

RDS MYSQL to Aurora EC2/on-premises MYSQL to Aurora

Many-to-one migration

Console based automated snapshot ingestion and catch up via binlog replication.

Binary snapshot ingestion through Amazon S3 and catch up via binlog replication.

Consolidate multiple MySQL shards into a single Amazon Aurora instance using Amazon Database Migration Service.

Amazon S3

Take snapshot;Load to Amazon S3

Ingest snapshot into Amazon

Aurora

Amazon Aurora 数据库迁移方法

Amazon Aurora


Amazon Aurora 客户采用情况

在前百大 AWS 客户当中，有3/4选择使用Amazon Aurora


公开客户案例

虎牙：直播

Camel Games：游戏

德比：软件


虎牙：将 Amazon Aurora 纳入虎牙整体架构

主从同步主从节点间非强一致性同步

需要读写强一致直接读主节点

交易

信息

主播

信息

开播

记录

用户

信息

故障迁移开发DNS代理订阅故障事件

纳入虎牙故障管理体系

模式选择Serverless模式和实例模式合理选择

自动扩容通过虎牙各大平台实现动态管理


虎牙：将 Amazon Aurora 纳入虎牙整体架构

数据源自动扩缩容

纳入虎牙全链路监控体系

纳入虎牙基础设施管理平台

结合AWS计算与存储分离的特性

纳入虎牙资源调度分析平台

对接AWS API


Amazon DynamoDB

Amazon E last iCache

Amazon Neptune

键值文档内存存储图

虎牙海外直播数据库体系

关系型

Amazon RDS

A M A Z O N

A U R O R AC O M M E R C I A L C O M M U N I T Y

时序搜索

AmazonE last i cSearch

Orac le

Microsof t

SQL Server

Redis

Memcached

Amazon DocumentDB

AmazonQLDB

账本

AmazonTimestream

自建数据库

DCache HBase

全链路监

控体系

基础设施

管理平台

资源分析

调度平台接入平台

AWS数据库


虎牙：全球化架构下未来展望

Geo-Located Based DB and Cache

全球数据最大规模区域自治

用户就近接入

细粒度全球自动迁移

降低跨洋数据同步

用户的数据放置在离用户最近的地方

行级别的跨洋数据迁移，避免全量同步

根据引用频率跨大洲添加副本

降低对全球热点人物的访问延时


• 统一业务中心Amazon

AuroraAmazon DynamoDB Amazon ElastiCache

Amazon

SQS

Amazon SNSAmazon

Autoscaling

关键服务

• 全球快速部署

• 自动灵活扩展

AWS 助力虎牙快速出海

• 全球用户实时互动


Camel Games: Amazon Aurora

• 易于运维管理2-3人管理200+数据库

无需专门DBA

30秒快速故障切换

存储自动扩展

• 简单扩展自动+手动在线扩展

• 高并发性能优异高峰> 20000 R/s, 4000 W/s

响应时间10ms

• Performance Insights

SQL优化


德比软件: Amazon Aurora

• 处理酒店与OTA之间数据对接

• 易管理性存储自动扩容

• 优异性能酒店促销活动

• 稳定自动故障切换

自动报警


我们希望您喜欢今天的内容！也请帮助我们完成反馈问卷。

欲获取关于 AWS 的更多信息和技术内容，可以通过以下方式找到我们：

感谢参加 AWS 在线研讨会

微信订阅号：AWS 云计算（awschina）

新浪微博：https://www.weibo.com/amazonaws/

领英：https://www.linkedin.com/company/aws-china/

知乎：https://www.zhihu.com/org/aws-54/activities/

视频中心：http://aws.amazon.bokecc.com/

更多线上活动：https://aws.amazon.com/cn/about-aws/events/webinar/

微信服务号：AWS Builder 俱乐部（amazonaws）

抖音：亚马逊云计算（抖音号：266052872）

amazon aurora 为云计算而生的关系型数据库 · amazon aurora mysql 的速度可达mysql...

Documents