狠狠撸

狠狠撸Share a Scribd company logo
主に変更した点 サバフェス 表彰式 LT
2015/03/26
誰
? いとう ひろゆき
? Team-S(MySQL Clusterクラスタ)
? サーバ運用/保守が仕事
? ネットワークからOS、ミドルウェアまでアプリケーシ
ョン以外はなんでも面倒を見ないといけない(程度の差
はあります)
? MySQL好き。酒好き。
お題
? 翱厂侧変更点
? 惭测厂蚕尝侧変更点
? なんか変だったところ
翱厂侧変更点
? NICのRingBufferを最大に変更
? /sbin/ethtool -G eth0 rx 2047
? /sbin/ethtool -G eth1 rx 2047
? Bondingのactive/backupだったので片方でも良かった
? 変更時は Link down/up が発生
? 最大値は ethtool –g eth0 とかで確認する
? 経験無いけどtx queueを増やしておいた
? /sbin/ifconfig eth0 txqueuelen 10000
? /sbin/ifconfig eth1 txqueuelen 10000
? 割り込み処理のCPU割り当て
? irqbalanceに任せると変な割り当てになる事がある
? irqbalance停止後、tunaコマンドで再設定
? 対象はNICとiodriveの割り込み処理が使うCPU
? tuna --irqs='iodrive-0000:07:00.0-0' --cpus=‘1’ --move
? tuna --irqs=‘eth0-TxRx-[0-5]’ --cpus=‘2-6’ --move
? メモ忘れたのでethの名称はsvfesサーバでは異なります
? cat /proc/interrupts を参照(またはtuna –Q)
? 上記はIntelのI350でigbドライバ(ver 5.0.5-k)の場合
? ベンチのサーバではドライバtg3だったはず
? ファイルシステム
? xfsも試したけどext4のままの方が性能出たのでext4使用
? マウントオプションはRHEL6からrelatimeになったため、
nobarrierのみでnoatime, nodiratimeは付けませんでした(cat
/proc/mounts)
? https://access.redhat.com/documentation/ja-
JP/Red_Hat_Enterprise_Linux/6/html/Power_Management_Gu
ide/Relatime.html
惭测厂蚕尝侧変更点
? 方針1(バッファはとにかく多く)
? ib_logfileのためのシステムキャッシュにすらメモリを割きたくな
い
? innodb_flush_method = ALL_O_DIRECT を使うため
Percona(5.6)を採用
? innodb_buffer_pool_size = 28G
? TPCC-MySQLのワークロードではスワップしないぎりぎり
のようでした。
? innodb_buffer_pool_instances = 28
? innodb_lru_scan_depth 調整しやすいのとmutexの競合削減
? 方針2(I/Oは極力減らす)
? innodb_log_file_size=1G
? innodb_log_files_in_group=16 (8でも十分だったかも)
? innodb_adaptive_flushing_lwm=50
? ib_logfileを大きくしてテーブルの実データへの反映を遅らせ
つつ、 lwm増やしてwrite combined狙いでwrite量を削減
? innodb_read_ahead_threshold=0
? innodb_flush_neighbors=0
? 方針3(領域拡張のI/O待ちは小さく)
? innodb_autoextend_increment = 8
? その他
? performance_schema = OFF
? query_cache_type = 0
? query_cache_size = 0
? innodb_checksums = 1
? 性能目指すならOFFの方が良かったかも
? innodb_checksum_algorithm = crc32
? CPU支援が効く場合 InnoDB: Using CPU crc32 instructions
? CPU支援が無い場合 InnoDB: Not using CPU crc32
instructions
? その他(mysqld_safeセクション)
? malloc-lib=/usr/lib64/libjemalloc.so.1
? numa-interleave=1
? flush_caches=1
なんか変だったところ
? メモリ
? dmidecode --type memory
? numactl --hardware
? CPU0が16GBと8GB、CPU1が8GB
? これはNUMAと呼んで良いの?
? NIC
? CPUのコア数とか考えるとIntelのI350とかキューがもっと多いほ
うが性能が伸びそう
? 個人的にはサーバスペック考えるとBroadcomはちょっと。。。
せめてbnx2(NetXtreme II BCM5709)あたりなら

More Related Content

サバフェス尝罢