MySQL Fabricでぼっこぼこにされたはなし
?
5 likes?8,299 views
2016/07/02 YAP(achimon)C::Asia Hachioji 2016 mid in Shinagawa
![Multi-Source Replication
[mysqld]
master_info_repository= TABLE
relay_log_info_repository = TABLE
10/84](https://image.slidesharecdn.com/mysqlfabricstrikesme-160702004059/85/MySQL-Fabric-11-320.jpg)
![ボコられ宛(5-1-2)
AP
[Not supported by viewer] Connector/J
Master Slave
mysqlfabric
Monitor/Demote
Monitor/Promote
Lookup Group Query
Routing
Routing
AP
AP Connector/J
31/84](https://image.slidesharecdn.com/mysqlfabricstrikesme-160702004059/85/MySQL-Fabric-32-320.jpg)
MySQL Fabricでぼっこぼこにされたはなし
- 1. MySQL 5.7 + MySQL Fabric + MySQL Routerでぼっこぼこに され た はなし シュレ`ディンガ`の竪はQyされた 2016/07/02 yoku0825 YAP(achimon)C::Asia Hachioji 2016 mid in Shinagawa
- 2. 椶海鵑砲舛錬 yoku0825世箸△詁IのDBA オラクれない- ポスグれない- マイエスキュ`エる- 社に｢ると 曇の健- せがれの?- ムスメの?- ?連囃 Twitter: @yoku0825- Blog: ?？の- MyNA ML: ?云MySQLユ`ザ氏- MySQL Casual?s Slack: MySQL Casual- 1/84
- 8. 光DB鏡?Δ泙箸瓩銅 APAPAPAP APAP MySQL MySQL MySQL MySQL Multi-Source Replication 7/84
- 9. Multi-Source Replication MySQL :: MySQL 5.7 Reference Manual :: 18.1.4 MySQL Multi-Source Replication 光マスタ`ごとにI/Oスレッドとリレ`ログ?やせば措いん じゃね? という jな シンプルな深え?でg廾されている 8/84
- 10. Multi-Source Replication binlog_dump binlog site_1's master binlog_dump binlog site_2's master binlog_dump binlog site_3's master I/O Thread Relay Log SQL Thread I/O Thread Relay Log SQL Thread I/O Thread Relay Log SQL Thread Slave's Storage Engine Administration Slave 9/84
- 11. Multi-Source Replication [mysqld] master_info_repository= TABLE relay_log_info_repository = TABLE 10/84
- 12. Multi-Source Replication mysql> CHANGE MASTER TO master_host = 'xxx', master_port = xxx, m aster_user = 'xxx', master_password = 'xxx', master_auto_positio n = 1 FOR CHANNEL 'site_1'; mysql> SHOW SLAVE STATUSG ** 1. row ** Slave_IO_State: Waiting for master to send event Master_Host: xxx Master_User: xxx Master_Port: xxx .. Channel_Name: site_1 11/84
- 13. Multi-Source ReplicationのO SHOW SLAVE STATUS だと畠チャンネル竃?されるので、書ま でのがそのまま聞えない SHOW SLAVE STATUS FOR CHANNNEL 'site_1', SHOW SLAVE STATUS FOR CHANNEL 'site_2', .. と蛍護するか - そういえば5.7からperformance?schemaにレプリケ`ションvBの テ`ブル弖紗されたよねって房ったけど SELECT iothread.channel_name, iothread.service_state AS io_thread, sqlthread.service_state AS sql_thread FROM performance_schema.replication_connection_status AS iothread JOIN performance_schema.replication_applier_status_by_worker AS sqlthread で *_Running: Yes 議なところは函れるんだけど、 Seconds_Behind_Master が函れな い。。 ＾SHOW SLAVE STATUS Information Not In the Replication Tables￣ MySQL :: MySQL 5.7 Reference Manual :: 23.9.11 Performance Schema Replication Tables Oh.. - 12/84
- 15. ?ちはだかるConnector/Jの謁 MySQL Bugs: #80631: ResultSet.getString return garbled result with json type data Connector/Jだとマルチバイト?忖が晒ける- まだ岷ってない- マルチバイトもテストしてくれよおおおお- 14/84
- 16. というかJSONデ`タ侏のメリットをg`って盾 MySQL 5.7 + JSON ＾紳覆料爾ぁ▲丱ぅ淵蟋`フォ`マット￣ の??を`i 腎g紳覆眩爾い里と房ったらeにそういうUではなかった ＾JSONv方を宥すなら紳覆措い￣ ってことだった - PKで哈くだけならTEXT侏の?が堀いというね。。- 15/84
- 18. ボコられるまでのE(3) どうせ5.7聞うならInnoDB FTSやっとくか VMでスタ`トすることがQまってるので、メモリ`をH泙覆?ら う Mroonga(Groonga) さんとはちょっと猥圓い - そんなヘビ`に聞うUじゃないので、Mroongaほどスピ`ド勣らない はず - トランザクションガリガリな湖じなので´。- そこに仇跡があるから- 17/84
- 19. InnoDB FTS + mecab-ipadic-neologd 虚るしのIPA看は?Sないので、 neologd/mecab- ipadic-neologd を看に旋? Ngramは恷兜からあきらめてる- MySQLの畠?碧にvするあれやこれや- 看まで根めてApache License 2.0で旋?できるらしい- 18/84
- 20. InnoDB FTS + mecab-ipadic-neologd InnoDB FTSは 屡に?？未みiいておいたので 書のところ }なし MySQL Bugs: #76120 (アクセス悗覆)- MySQL Bugs: #76121: Warning 1235, ＾FTS auxiliary tables will not be flushed￣ is printed twice. - MySQL Bugs: #76139 (アクセス悗覆)- MySQL Bugs: #76164: InnoDB FTS with MeCab parser prints empty error message - MySQL Bugs: #80755 (アクセス悗覆)- MySQL Bugs: #80760: Reverse Engineer fails to load table which has ＾WITH PARSER￣ clause - 19/84
- 22. ボコられるまでのE(4) ?gだかLgだかのg了で、アクションの指方にハ`ドリミ ットをかける碧があった 孵叔だからgenerated columnで貌掲CHECK崙sしてみよう ず?? 21/84
- 23. generated column de CHECK崙s mysql> SHOW CREATE TABLE amount_limitG ** 1. row ** Table: amount_limit Create Table: CREATE TABLE `amount_limit` ( `current_amount` int(11) NOT NULL, `limit_amount` int(11) NOT NULL, `virtual_check` int(11) GENERATED ALWAYS AS (if((`current_amoun t` <= `limit_amount`),1,NULL)) VIRTUAL NOT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 1 row in set (0.00 sec) 22/84
- 24. generated column de CHECK崙s mysql> SELECT * FROM amount_limit; +----------------+--------------+---------------+ | current_amount | limit_amount | virtual_check | +----------------+--------------+---------------+ | 0 | 100 | 1 | +----------------+--------------+---------------+ 1 row in set (0.00 sec) mysql57> UPDATE amount_limit SET current_amount = current_amount + 100; Query OK, 1 row affected (0.01 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql> SELECT * FROM amount_limit; +----------------+--------------+---------------+ | current_amount | limit_amount | virtual_check | +----------------+--------------+---------------+ | 100 | 100 | 1 | +----------------+--------------+---------------+ 1 row in set (0.00 sec) mysql> UPDATE amount_limit SET current_amount = current_amount + 100; ERROR 1048 (23000): Column 'virtual_check' cannot be null 23/84
- 26. orz 25/84
- 27. ボコられるまでのE(5) 庇?晒も駅勣だよね シンプルにレプリケ`ション聞うか MHA || mysqlfailover + LVS, MySQL Fabric + MySQL Router - PXC(Percona XtraDB Cluster .. GaleraのPercona Serverg廾)聞 うか - MySQL Clusterはいくら採でもユ`スケ`スじゃないな- スレ`ブはiみzみ蛍柊?余じゃなくてホットスワップ W决させたくないVMスタ`トだからスケ`ルアップ藺圓任い- 26/84
- 28. ボコられ宛(5-1) APAPAPAP APAP MySQL MySQL MySQL MySQL マ ル チ ソ ` ス レ プ リ ケ ` シ ョ ン Slave Slave Slave 27/84
- 31. mysqlfailoverをxばなかった尖喇 read_only を畠くいじってくれないあたりでBめた レプリケ`ションのつなぎ紋えはしてくれるけど、それしか してくれない {?がおかしくなると mysql.failover_console をいじって やらないといけない。護と哈っかかる。。 --exec-before と --exec-after があるのは措かったんだけ ど´ 屎岷喪晒MHA- 30/84
- 32. ボコられ宛(5-1-2) AP [Not supported by viewer] Connector/J Master Slave mysqlfabric Monitor/Demote Monitor/Promote Lookup Group Query Routing Routing AP AP Connector/J 31/84
- 33. MySQL Fabricのもともとの侘 Fabric鬋灰優タ`(Connector/J, Connector/.NET, Connector/Python)が mysqlfabricデ`モンへのい栽わせ とル`ティングをやる コネクタ`からの俊A枠は mysqlfabric デ`モンを峺協する- アカウント秤鵑世院MySQL Fabric?のとリアルサ`バ`?のをI ?局す - Connector/Jなんてただでさえ?にえてないのに厚にブラ ックボックス弖紗は?い Connector/Cは護と殆岷だったんだけど、Labsからえましたね´- 32/84
- 34. ボコられ宛(5-1-3) Master Slave mysqlfabric Monitor/Demote Monitor/Promote AP AP mysqlrouter 127.0.0.1:3306 AP AP mysqlrouter 127.0.0.1:3306 Lookup Group QueryRouting(NAT) Routing(NAT) 33/84
- 35. MySQL Fabric + MySQL Router Fabric鬋灰優タ`の旗わりに mysqlrouter がい栽わせ とル`ティングを望る MySQL Fabric?のアカウントとパスワ`ドは mysqlrouter にO協- アプリケ`ションからはMySQL Routerのポ`トにしてリアルサ` バ`のアカウント秤鵑魘匹 - MySQL Routerがブラックボックスっぽくなるけど、Pure JavaなConnector/Jに?べてC++なMySQL Routerの?が 櫃S 34/84
- 36. ボコられ宛(5-2) MySQL マ ル チ ソ ` ス レ プ リ ケ ` シ ョ ン APAP MySQL APAP MySQL APAP MySQL 35/84
- 37. いつものレプリケ`ションに SlaveMaster COMMIT InnoDB log InnoDB Tablespace client Binary Log Binlog Dump I/O Thread Relay Log SQL Thread COMMIT 36/84
- 38. wsrepをプラス SlaveMaster COMMIT InnoDB log InnoDB Tablespace client wsrep Galera Cache wsrep InnoDB log InnoDB Tablespace ACK Galera Cache 37/84
- 40. PXC + Connector/J jdbc:mysql://server1,server2,server3 でける server1が宜れてたらserver2, server3とすスタイル- コネクションプ`ルとの猥圓呂匹Δ覆鵑世蹐- 陶りは崙囮できなさそう- 弖紗コンポ`ネントなしでいい湖じ 39/84
- 46. ボコられ宛?^ ド仟､覆里 gtid_mode= ON は蒙に}にしていない マネ`ジャ`ノ`ドまたはMySQL Fabricを咾すノ`ドで もともと1岬函るつもりなのでそこの岬方は笋錣蕕覆 45/84
- 47. ボコられ宛?^(Async狼) ?隈 ステ`タス_J フェイルオ`バ`フ ック 揖豚?隈 その麿 MHA + LVS ログ ある Async / Semisync クラッシュセ` フスレ`ブ掲 mysqlfailover + LVS ログ ある Async / Semisync レプリケ`ショ ンのつなぎ紋え だけで、マスタ `N鯉とまでは ?えない mysqlfabric + Connector/ J XMLRPCか MySQLプロト コルのAPI ない Async / Semisync Connector/Jが ブラックボック ス mysqlfabric + mysqlrouter XMLRPCか MySQLプロト コルのAPI ない Async / Semisync 46/84
- 48. ボコられ宛?^(Sync狼) ?隈 ステ`タス_J フェイルオ`バ`フ ック 揖豚?隈 その麿 PXC + Connector/J SHOW GLOBAL STATUS 駅勣ない Virtual Sync PXC + LVS SHOW GLOBAL STATUS, ipvsadm 駅勣ない Virtual Sync コネクションプ `ルと猥圓 いのがy泣 PXC APサ`バ `\り SHOW GLOBAL STATUS 駅勣ない Virtual Sync スケ`ルアウト 藺圓破世 MySQL Cluster ndb?mgm 駅勣ない NDB 鯵がかった 47/84
- 49. で 48/84
- 50. PXCをxばなかった尖喇 マルチマスタ`でまである駅勣はない だいぶ念にったやつではあるけど、Semisyncから厚に3護しくら いのレイテンシ` - Y蕉レイテンシ`を腕って、Asyncベ`スの 環の祇 仇跡圻をMむこ とに - 恷?撹が3岬(3プロセス) スプリットブレイン悶崙を里討襪- 1つを garbd (誘同?のプロセス)にするか- 49/84
- 52. MySQL Fabric + MySQL Routerをxんじゃった尖喇 なんか兆念がかっこよかった 書は瘁孜している マイエスキュ`エルファブリックってk?するとなんかかっこいい がしたんですよ。。 - 2定g、ちょっとずつ編^してみたけど、そろそろ聞っても いいかなと e した MySQL Fabricつらい Advent Calendar 2014- MySQL FabricRouterつらくない Advent Calendar 2015- MHA, mysqlfailoverに?べてAPIの?を_いているので、翌 何からのOがS Sというよりは、恬っておきたかったというかなんというか- 51/84
- 53. MySQL Fabricの尖 このサ`ビス?の}方のサイトは1つのMySQL Fabric (mysqlfabricデ`モンとバッキングストアのmysqld)で砿尖 スクリプトをフックするところがないので、MySQL Fabric のXMLRPCかMySQLプロトコルの?を澣いてOν岑 MySQL Fabric鬋灰優タ`はブラックボックスっぽいの で聞わず、MySQL Routerで俳り紋え なんだかんだ?って mysqlfabric コマンドはTれれば?やす い 52/84
- 54. MySQL Fabricの尖 mysqlrouter と mysqlfabric は掲揖豚でキャッシュを厚仟1. APから mysqlrouter がESTAB2. mysqlrouter はキャッシュを?てMySQL ServerとESTAB3. AP => mysqlrouter => MySQL Server とNATされる。W 决は10usくらい。 4. 53/84
- 55. MySQL FabricのFg MySQL FabricはMSR掲 Y惚、まさかの侭にもう?MySQL Router弖紗 コイツが、Fabric Cacheが厚仟されても俳り紋わらなくて^を宇えているところ _かにハ`トビ`ト?悶は宥るから、 slave_net_timeout ?さくしてもしょうがない んだよなあ。。 - GTIDベ`スなんだからマスタ`もスレ`ブもフルメッシュにしちゃ う?もあるなと房っている - 54/84
- 56. MySQL FabricのFg MySQL APAP MySQL APAP MySQL APAP MySQL mysqlrouter マ ル チ ソ ` ス レ プ リ ケ ` シ ョ ン 55/84
- 57. MySQL FabricのFg バッキングストアが鯛ちると mysqlfabric デ`モンがハング する 鯛ちずに缶さったりDisk Fullできzみができなくても mysqlfabric デ`モンがハングする mysqld が鯛ちたらすぐに mysqlfabric デ`モンを鯛とすような碧Mみ?れた mysqlfabric デ`モンが鯛ちてさえいれば、mysqlrouterはキャッシュで咾い討れ る - 56/84
- 58. MySQL FabricのFg mysqlrouter と mysqlfabric は掲揖豚でキャッシュを厚仟 <= ここがまる 1. APから mysqlrouter がESTAB2. mysqlrouter はキャッシュ厚仟がまってるのでMySQL ServerとESTAB しにいかない 3. 57/84
- 59. orz 58/84
- 60. MySQL FabricのFg なぜかログを fabric.log テ`ブル┘好`マ兆は辛筍に 預く。ファイルにもく。 ファイルにくより秤鸛燭R宜議に謹い。ジェネラルログっぽい湖 じ。 - ぞ筺▲僖薀瓸`タ`で崙囮音辛嬬- テ`ブルあふれる => mysqlfabric デ`モンがハングする => mysqlrouter が鬴陲靴覆なる のコンボ - 59/84
- 61. MySQL FabricのFg fabric.log テ`ブルのパ`ジはバッキングストアの event_schedular にイベントで DELETEステ`トメントが鞠 hされてる バッキングストアの event_schedular をONにしないとテ`ブルがあ ふれる - event_schedular をONにしても、DELETEステ`トメントのWHERE で聞ってるv方の哈方の桑g`っててえない - 厚に binlog_format= ROW で mysqlrouter がえればえるほど DELETEするだけで仇zが?える - event_schedular にO協されるパ`ジ豚gは mysqlfabric manage setup したrのprune?timeで耕協というF - Y蕉テ`ブルにロギングしてるところをまるっと茅するパッチした- 60/84
- 62. MySQL FabricのFg もうずっと?いことMySQL WorkbenchからMySQL Fabric に俊Aできない ?r豚セミナ`で仝MySQL WorkbenchからMySQL Fabricが砿尖で きます?々と､辰討いr豚があったのに´ - MySQL Bugs: #74894: Failure to connect to MySQL Fabric from a windows installed workbench. - とはいえTれれば mysqlfabric コマンドでも採とかなる けど、O?余にはパ`スが階めんどくさいので、劣みたいにJSONで卦してくれるオ プションも圀しかった。。 - 61/84
- 63. MySQL FabricのFg MySQL Bugs: #73206: MySQL Fabric should report a warning when MySQL Event Scheduler is disabled MySQL Bugs: #74894: Failure to connect to MySQL Fabric from a windows installed workbench. MySQL Bugs: #81557: MySQL Fabric uses wrong argument of MAKETIME in prune?log Event MySQL Bugs: #81558: prune?log event doesn?t use any index MySQL Bugs: #81559: Incorrect WHERE clause in dump?servers fanction 62/84
- 65. MySQL RouterのFg コネクションプ`ルとの猥圓階~かった MySQL Fabricから撹筝の宥岑が栖て、キャッシュを厚仟すると ころまではいいんだけど - キャッシュを厚仟したタイミングで、書ってるコネクションは graceful stopとか - gracefulとかgなこと?わないんでコネクション畠何?業俳ってく れてもいいんですよ - 採のためにパケットを畠何NATしてるんですかあんた- 64/84
- 66. MySQL RouterのFg APから mysqlrouter がESTAB1. mysqlrouter と mysqlfabric は掲揖豚宥佚でキャッシュを厚 仟 2. mysqlrouter はキャッシュを?てMySQL ServerとESTAB3. AP => mysqlrouter => MySQL Server とNATされる。W 决は10usくらい。 4. 採絞か mysqlfabric からキャッシュの厚仟宥岑が?って も、 mysqlrouter => MySQL ServerのESTABが 俳れない 5. 65/84
- 67. MySQL RouterのFg シングルスレッドで、パケットを畠てル`ティングする NATな咾ので、1嵐QPSとか澣くと mysqlrouter がボ トルネックになってまる それくらいのﾄになったら}方の mysqlrouter プロセスを貧げるし かないけど - そんなトラフィックが栖る嚠協はない - mysqlrouter の max_connections を1000參貧にするとクラッシュす るらしい MySQL Bugs: #80260: MySQL Router is down with more than 1000 concurrent connections - 66/84
- 68. MySQL RouterのFg F壓のコンフィグや、バックエンドをどうJRしているかな んかを?るコマンドがない OはMySQLプロトコルでしかけて、屎しくル`ティングされるか どうかを SELECT @@hostname とかで?るしかない。 - 屎岷Bめてアプリケ`ションログがったら´とかそんな湖じ- graceful restartの碧Mみがないことが乂な}に房えて きた 67/84
- 69. MySQL RouterのFg ル`ティングのg了がポ`ト ＾site?1のマスタ`￣ にして1ポ`ト、 ＾site?1のスレ`ブ￣ にして 1ポ`ト、とか護り輝てる - ポ`トがカブっても軟咾吠，擦此▲ジュアルに軟咾垢 もちろんポ`トはLISTENできないので嘛が払われる- :(;???ω??):- 68/84
- 70. MySQL RouterのFg MySQL Routerには ＾MySQL Fabricに俊Aするためのアカ ウント秤鵝 を峺協する。MySQL Router埆しに俊Aするク ライアントは ＾MySQL Serverに俊Aするためのアカウント 秤鵝 を峺協する router.ini に password オプションがあるんだけれど、採かくと Configuration error: 'password' option is not allowed in the configuration file. Router will prompt for password instead. って鏑られる - かといって峺協しないと、プロンプトでパスワ`ドをいてくる- どうやってデ`モン晒しろと?うのか 碧?ないからMySQL Fabric箸 protocol.mysql.disable_authentication= yes し てる systemd のO協ファイルに --password を局せってことなのかしら - 69/84
- 72. ところでMySQL 5.7.13がリリ`スされて竃してきた ぁゃιぃバグ MySQL Bugs: #81769 (アクセス悗覆) MySQL Bugs: #81772 (アクセス悗覆) 71/84
- 75. 仟しいことをやろうとするとボコられるところまでは歴 の貧だけど ?wに´とまでは?わなくとも 仝それは是ったねえ々って?ってくれる嗔_がほしい ?が?くなっちゃう (c) Yappo 74/84
- 78. (eのh廠根め) MySQL 5.7でやったこと SET GLOBAL innodb_buffer_pool_size = .. UYgみ そこまでいものでもなかった (?にはかった)- MySQL Bugs: #77564: SIGABRT during resizing the InnoDB Buffer Pool Online with memory full condition - sync_binlog= 1 でも5.6ほどひどくない (櫃する) sys スキ`マ胆龍しいです 5.6にもガリガリインスト`ルしてるから噫ありがたみはない- 77/84
- 79. (eのh廠根め) MySQL 5.7でやったこと むしろ屡贋の5.6をアップグレ`ドした5.7でオンライン gtid_mode= ON に卞?できた。うれしい。 圧aのテンポラリ`テ`ブル MyISAMにしてる( internal_tmp_disk_storage_engine= MyISAM )- performance_schema_*_size とか performance_schema_*_instances のデフォルトがautosize になってるので、テキト`な､鮹擦離織譴没啓 でないと\?嶄に房った參貧にメモリ`聞?楚がえていく で、 SET GLOBAL innodb_buffer_pool_size = .. でちょっとpらした。。 SHOW ENGINE performance_schema STATUS で?られるよ - 78/84
- 80. (eのh廠根め) MySQL 5.7でやったこと slave_parallel_type= LOGICAL_CLOCK は峺協してあるけ ど、スレ`ブ箸 slave_parallel_workers= 0 だからMTS にはなってない innodb_numa_interleave がLinux Genericバイナリ`では聞 えない} 仟しいInnoDBのパンチホ`ルRsも揖- Linux Genericの.tar.gzをダウンロ`ドして婢_するスクリプトにし てるけど、ソ`ス函ってきてmakeする侘塀にきQえるかも - 79/84
- 81. (eのh廠根め) MySQL 5.7でやったこと innodb_default_row_format= Dynamic まだい?の牢撰は鞭けていない ADD KEY, DROP KEY は唹なし、 ADD COLUMN で?らう - むしろDynamicになって innodb_large_prefix の寓{を鞭けている っぽい - mysql p ump MyDumperでええやん- 80/84
- 82. 仇跡を未みに?くなら ?云MySQLユ`ザ氏 http://mysql.gr.jp/frame/myna/index.php- F壓の麼な試咾 ML での吭?住Qです。r？オフ氏も あるかもしれませ ん :-) MySQL にd龍がある?はどなたでも?氏できます。氏 Mはありませんし、 曜氏も?喇です。 81/84