大话ssd(淘宝核心系统数据库组 褚霸)
DESCRIPTION
介绍SSDTRANSCRIPT
Agenda
初见相识相知
相爱
存储设备 IOPS演变史
设备 IOPS 接口7200 RPM SATA drives ~90 IOPS SATA II
15k RPM SCSI drives ~180 IOPS SAS
Intel X25-M G2 (MLC) ~8,600 IOPS SATA II
ioDrive, a PCI-Express card with Flash
with Flash 140,000 Read IOPS, 135,000 Write IOPS
PCIe
Fusion-io ioDrive Octal 1,180,000+ Random Read/Write IOPS
PCIe
存储设备价格对照
设备 价格 /每 GB
SATA 7200转 0.1 USD
SAS 10000转 0.4 USD
Intel X25-M 160G * USD
FusionIO iodrive MLC 320G * USD
Virident tachion SLC 400G * USD
淘宝使用案例
• CDN • IC库 • TC主库• TC 读库• Oceanbase• Vstore• 图像搜索• Tair• ...
Agenda
初见相识相知相爱
PCI-E/SATA接口
Intel X25-M/SATA
FusionIO iodrive/PCI-E
Virident tachion/PCI-E
SSD写入如何发生的呢？
背景知识 1：Nand芯片擦写次数
Generation SLC MLC eMLC
2x 100,000 2,500
3x 100,000 5,000 35,000
5x 100,000 10,000
背景知识 2：写放大倍数
写放大倍数的定义： SSD物理写字节数 /应用逻辑写字节数 放大倍数越大，说明：• 设备不够好• 我们没用好• 寿命杀手
Intel X25/M Nand内部布局
数据如何写入 SSD(1)
数据如何写入 SSD(2)
数据如何写入 SSD(3)
数据如何写入 SSD(4)
垃圾收集导致 IO性能下降
Agenda
初见相识相知相爱
适用环境
• 对 IOPS要求高，离散读多。• 离散写多。• 需要低延迟。• 作为后备内存。• 作为 L2 Cache 。
对程序员的影响
• SSD=/=磁盘，传统软件基于机械硬盘设计。• IOPS不再是问题，如果利用好是问题。• 离散读写非常快（ 3个数量级），顺序读写没优势。• 读写延迟时间小。• 读不消耗寿命，写消耗，越小的数据写越不合算。• 同一个位置写，由于均衡算法的存在，不会磨损芯片的同一位置。
• 尽量合并写。
对程序员的影响（续）
• SSD IO吞吐量 1.XG/s ， 内存是 4-6G/s, 可看作是更大的内存？
• MMAP做后备内存，和 jemalloc这样的内存分配器配合。• 异步 IO, 保证 IO请求队列深度。• 对 SSD的特性进行算法优化。• fsync能力是数据类应用天花板。
使用 SSD通常要考虑的问题
Agenda
初见相识相知播种
选择
• 多线程和 IOPS• 文件系统的选择• IO块大小• SLC还是MLC• 写放大倍数• 数据安全性• 驱动对应用的影响• 抖动 /延迟• L2 Cache 方案
离散读性能 /线程数目
离散写性能 /线程数目
文件系统的影响
IO块大小的影响
Nand: MLC还是 SLC
写放大倍数和寿命
数据库典型的应用 :Intel X25-M: 5-8倍FusionIO iodrive: 2-3倍 可以透过 ssd设备提供的监控程序（如 smartctl）来获取这些
参数 .寿命：Intel X25-M: 200TFusionIo iodrive 320G: 4P
数据安全性
数据校验 : • ECC校验• Raid冗余• Intel X25-M支持硬件 raid卡， FusionIO 只能做软 raid
掉电保护：
• 大电容保护• 日志系统
数据恢复时间：
• FusionIO最多 10分钟左右（内部日志系统）
驱动对应用的影响
Sata接口：标准 Linux驱动，驱动开销很小
PCI-E接口：每个厂家驱动不同，对 CPU和内存的消耗可能会 非常大。 FusionIO在峰值的时候可能会占用 1-2G 内存， 最多
1x0%CPU ， Virident由于板载处理器 CPU消耗比较小。
中断开销：• 中断多的时候是否可以考虑均衡
抖动和延迟
由于数据整理的不可避免性，抖动也是不可避免的。 Intel ： 脏块回收做的不是很好，在使用过程中，数据写入多的情况下抖动会很厉害。 FusionIO ： 相对好些，但是也会有轻微抖动。可以通过加大 reserve容量 (通常默认 20%)来大大缓解这个问题。延迟时间可能会达到 1ms.
SSD作为 L2Cache方案
好处：• 低成本，高性能• 对应用透明
可选方案：• Facebook FlashCache• FusionIO DirectCache• 文件系统
存在问题：• 性能损失• 单点故障• 数据热点问题
Agenda
初见相识相知相爱
交流时间
谢谢大家！
SSD未来会很快普及，我们做好相爱的准备了吗？