狠狠撸

Sth. About SSD

@w维西 MySQL_DBA
rezic7@gmail.com

Contents

? FusionIO Intel SSD+LSI Raid
? FIO+Flashcache安装备注
? FIO性能测试
? OS/Percona的参数设定

Week 3 Rezic7@Gmail.com Tuesday, November 22, 2011

FusionIO-SSD_Raid


≈Flashcache


2nd gen 6Gb/s Raid Controller

? 上限提升近3倍


FastPath
? 最适合OLTP
? FastPath的工作原理是通过MegaRAID控制卡的
Firmware来开创一条延迟非常低的I/O路径，以此来充
分优化SSD的性能。
? ≈HBA?


HBA

? Host Bus Adapter
在服务器和存储间进行I/O处理和物理连接的适配器,形成直接
的磁盘通道;减轻CPU在数据存储和检索任务的负载，提高
IO性能
几乎没有performance limitation, 性能基本是单盘性能x盘数；
而RAID性能则受RAID形式以及RAID卡本身的限制；


HBA
? 一般HBA的弱点：
1. 基本不算真正意义的硬件raid，现在的硬件raid，物理磁盘上都会带
有一些ddf信息，而HBA组建的raid可能不带这些信息
2. raid的检验和纠错能力会比较弱
3. 不带cache，对随机写性能影响很大
? 性能测试表现突出的原因
挂上多块SSD后,随机读写的缺陷被填补上,但是数据效验这块还是短板,推
荐不用在严格生产系统中
? 淘宝Oceanbase收藏夹应用的当前架构
青岛机房 : (HBA+单320GB-SSD )*10台流量60%
杭州机房 : (raid 10 + 10块SAS)*22台流量 40%


Intel SSD New Series——320

2011.Q1-Q2

下一代SSD主控芯片?
? 2012年推出,最大支持5TB容量的SSD，随机写入
IOPS最高可达400K
? 目前SandForce SF-2000系列最高随机写入IOPS数据
大概在60K


4K IOPS 70k
Week 3 Rezic7@Gmail.com 8K IOPS 50k
Tuesday, November 22, 2011

贵耻蝉颈辞苍-滨翱结构

Fusion-IO,只能做软raid或者LVM
新测试机是双卡,可通过
sudo mdadm –D /dev/md0查看


Fusion-IO比其他SSD方案更好?


? Fusion IO等PCIe卡在全随机写方面有一定的性能优
势，但其所标称的性能一般以优化配置情形下的数据
为准，如512Byte文件大小，做50% over-provision.另
一些厂商，则对典型workload做特别算法优化，比如
4kB文件大小性能最好，而2kB/8kB等则较差；建议针
对实际情形测试
? Intel SSD in RAID模式，在read intensive workload或
者是读写混合（如3:1 R/W）下，其性能能达到甚至
远超过（如全随机读）主流的PCIe卡方案，同时具有
其他方面的优势，如：数据安全性（可以配置RAID），
断电保护，容量/性能性价比，可置换性


Contents

? FusionIO+Flashcache安装备注
? FIO磁盘性能测试工具
? OS/Percona的参数设定


Fsuion‐io ioDrive 安装指南

? 系统内存要求：
ioDrive 需要系统提供足够的内存来保
存元数据，大部分情况下iodrive 对
于内存的最小要求是：
320G ‐‐‐1.7G 640G ‐‐‐3.4G
? 系统类型版本
Fusion‐io 只支持64 位的操作系统，
目前Fusion‐io ioDrive 不是可启动
OS 的设备。OS要安装在原有的硬
盘设备上。


IO driver驱动命令行工具


FlashCache details
? Write-through & write-back 多模式
? 先进先出和LRU的快管理
? 需自行编译核心模块
? 也适用于ibdata1/ib_logs


Fio+Flashcache安装TIPS
? 查看现有的设备状态
sudo fio-status (fct0,fct1) sudo fdisk -l (fioa,fiob)
sudo fdisk -l /dev/md0 确认文件系统
? 安装编译Flashcache
1.编译内核tree
mkdir -p ~/rpmbuild/{BUILD,RPMS,SOURCES,SPECS,SRPMS}
echo '%_topdir %(echo $HOME)/rpmbuild' > .rpmmacros
安装源码RPM后, SPECS下生成kernel.spec增加
%define _default_patch_fuzz 2 (某些新版本rpmbuild默认为0)


Fio+Flashcache安装TIPS
2.拷贝配置
cp /boot/config-2.6.32….x86_64 ~/rpmbuild/BUILD/kernel-/linux-/
cd ~/rpmbuild/BUILD/kernel-...el6/linux-...el6.x86_64/
make oldconfig && make prepare && make modules_prepare
cp /usr/src/kernels/2.6…/Module.symvers
~/rpmbuild/BUILD/kernel-/linux-/
3.编译
根据手册修改Makefile
make KERNEL_TREE=~/rpmbuild/BUILD/kernel-/linux-…/
4.加载验证
sudo insmod ./src/flashcache.ko
sudo lsmod | grep flash
5.搭建挂载flashcache
sudo PATH=/sbin ./flashcache_create -b 4k -p back cachea /dev/md0
/dev/sda12
sudo mkfs.ext3 /dev/mapper/cachea


FIO编译及使用
? sudo yum install libaio-devel
? make && sudo make install
? sudo fio -filename=innodb.dat -direct=1 -
ioengine=psync -directory=/u01 -rw=randrw -bs=16k
-size=5G -numjobs=32 -runtime=10 -group_reporting
-name=mysqlio


参数介绍
? readwrite=str, rw=str
read #连续读
write #连续写
randread #随机读
randwrite #随机写
rw #混合连续读写
randrw #混合随机读写
? rwmixread = 90 混合读写比例,参考ICDB 10:1
? direct = 1 不使用io设备buffer
? directory=/u01 测试目录,用于指定磁盘
? runtime=10 测试时长(秒)
? name=io_test 作业名 filename= innodb.dat 文件名
? bs= 16k 块大小 bssplit=4k/40:8k/60 可分比例


参数介绍:IO Engines
? fio支持: sync psync libaio posixaio mmap
splice syslet-rw sg null net netsplice cpuio
guasi

? MySQL先前是自写的 Fake AIO(xiyu)
? innodb走sync较多，即使启用aio, 做过统计真正
走aio的5%不到(chuba)
? InnoDB Plugin 1.1 supports native AIO on Linux
http://blogs.innodb.com/wp/2010/04/innodb-performance-aio-linux/

? 建议每次测试前低格fioa,fiob;重做flashcache


支持参数文件
[global] [innodb-log] [innodb-rdrw]
stonewall
direct=1 directory=/u02 stonewall
size=2G bsrange=512-2048 directory=/u01
bs=16k ioengine=sync bs=16K
rw=write
timeout=30 numjobs=64 ioengine=psync
rw=randrw
[bin-log] [innodb-rdread] rwmixread=90
stonewall
directory=/u02 size=200G
directory=/u01
rw=write numjobs=32
bs=16K
ioengine=sync
ioengine=psync
bsrange=512-1024 rw=randread
numjobs=64 size=200G
numjobs=32

Contents

? FusionIO+Flashcache安装备注
? FIO磁盘性能测试工具
? SSD+Percona的参数设定


CPU软中断
? 淘宝核心系统和Intel都出了新的patch
echo 2 > /sys/block/sdX/queue/rq_affinity

? 在RHEL6 + Dell H700时，关闭rq-affinity，
小于7万iops，跑满一个core;打开后10万iops
? RHEL6 + Dell H200 + HBA时，打开rq-affinity,
22.5万iops，打开严格模式可达26.5万iops


笔别谤肠辞苍补参数设定
– innodb_thread_concurrency=0
– innodb_read_ahead=0
– innodb_adaptive_flushing=1
– innodb_adaptive_checkpoint=keep_average
– innodb_max_dirty_pages_pct=60
– innodb_flush_method=O_DIRECT
– innodb_io_capacity=10000
– Innodb_flush_neighbor_pages=0
– innodb_read_io_threads=8 (16 for writes)
– innodb_page_size = 4K | 8K | 16K(Use carefully)
– innodb_flush_neighbor_pages= ON | OFF
– innodb_log_block_size = 512 | 4096
– innodb_doublewrite_file
– innodb_log_file_size > 4G
FusionIO工程师在Percona New York展会上的分享


Fusion-IO@Percona Live 2011 NYC


狠狠撸

Sth About SSD

Recommended

More Related Content

What's hot (20)

Similar to Sth About SSD (20)

Sth About SSD