#riding_rails Rails複数DBシステム MySQLからPostgreSQL移行物語
?
2 likes?6,527 views
2015/4/17 に行った Riding Rails 勉強会第一回の発表資料です。 この Blog エントリをベースとした発表でした。 http://www.techscore.com/blog/2014/12/05/rails_db_migration/ 勉強会資料をまとめた Blog エントリはこちら！ http://www.techscore.com/blog/2015/04/23/riding-rails-vol1-yattayo/
![データの移?行行?方法２
型の変換
変換後はPgSanityを使ってクエリが構?文レベルで
壊れていないことをチェック
MySQL PostgreSQL 注意点
tinyint(1) boolean 数値→true/false
varchar citext 検索索時の?大?文字?小?文字の挙動
auto_?increment serial シーケンスの初期値をsetvalすること。
（現在値はDDLに吐き出される）
blob bytea バイナリも正規表現で置換可能！
line.gsub!(/0x([0-‐??9,A-‐??F]+)/, ?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?"decode('1','hex')")](https://image.slidesharecdn.com/railsdb-150422202801-conversion-gate01/85/riding_rails-Rails-DB-MySQL-PostgreSQL-16-320.jpg)
#riding_rails Rails複数DBシステム MySQLからPostgreSQL移行物語
- 2. ?自?己紹介 ?? 三苫 ?亮亮（みとま ?りょう） https://github.com/mitoma ?? 今までやってきたこと –? マルチテナントシステム –? 複数データベースシステム –? スキーマ不不定データ ?on ?RDBMS
- 3. ?目次 ?? 本?日お話しすること ?? Rails複数DBシステム ?? データベース移?行行 ?? 無停?止移?行行の流流れ ?? まとめ
- 4. 本?日お話しすること ?? Railsで構築されたマルチテナントシステムを MySQLからPostgreSQLへ 無停?止で移?行行するというお話 ?? ただし ?? データベースは複数あり スキーマ定義はそれぞれ微妙に異異なり 移?行行期間は数か?月に及ぶ
- 7. マルチテナントって？ ?? ?一つのシステム内で複数のテナントの データを同居させる?方式のシステム –? 実現?方法はデータや処理理の 分離離レベルによってさまざま ?? アプリケーションの実装で分離離(Salesforce) ?? データストアの機能で分離離 ?? アプリケーション?ミドルウェアのプロセスで分離離 ?? インスタンスで分離離(Amazon ?Web ?Service)
- 8. ?目次 ?? 本?日お話しすること ?? Rails複数DBシステム ?? データベース移?行行 ?? 無停?止移?行行の流流れ ?? まとめ
- 9. Rails複数DBシステム ?? システム概要 –? 管理理DBが1つ ?? メタ情報 ?? DB接続先 –? テナントDBが多数 ?? テナント毎に データベースが独?立立 ?? スキーマはテナント毎 で異異なる
- 11. どうやって？ むずかしい???
- 12. ?目次 ?? 本?日お話しすること ?? Rails複数DBシステム ?? データベース移?行行 ?? 無停?止移?行行の流流れ ?? まとめ
- 13. 検討したこと ?? データの移?行行?方法 –?スキーマの定義情報、データ ?? 移?行行データの検証 ?? MySQL?PostgreSQL互換性 ?? 移?行行期間中のシステムの動き
- 14. データの移?行行?方法１ ?? 論論理理ダンプ?変換?投?入 –? 出?力力されたDDL, ?DMLを正規表現で PostgreSQLで投?入可能なように変換
- 15. データの移?行行?方法１ ?? 論論理理ダンプ?変換?投?入 –? 出?力力されたDDL, ?DMLを正規表現で PostgreSQLで投?入可能なように変換 荒業っぽいが意外と問題ない！ 荒業そのものという気もする
- 16. データの移?行行?方法２ 型の変換 変換後はPgSanityを使ってクエリが構?文レベルで 壊れていないことをチェック MySQL PostgreSQL 注意点 tinyint(1) boolean 数値→true/false varchar citext 検索索時の?大?文字?小?文字の挙動 auto_?increment serial シーケンスの初期値をsetvalすること。 （現在値はDDLに吐き出される） blob bytea バイナリも正規表現で置換可能！ line.gsub!(/0x([0-‐??9,A-‐??F]+)/, ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?"decode('1','hex')")
- 17. 検討したこと ?? データの移?行行?方法 –?スキーマの定義情報、データ ?? 移?行行データの検証 ?? MySQL?PostgreSQL互換性 ?? 移?行行期間中のシステムの動き
- 18. データの検証?方法１ ?? 移?行行したデータの検証は？ –? レコード件数の?比較？ –? データの内容のチェック？ ?? MySQLとPostgreSQLが型が違うのに どうすれば同?一といえる？ –? はたまた?目grep？ ?? そんな?馬?鹿鹿な
- 19. データの検証?方法２ ?? ActiveRecordとMD5でやる –? 全テーブルに対応するモデルを動的?生成し、 各レコードのattributeを?足し合わせてMD5を計算する –? その?二つのリストをdi?を取ることで少なくとも ActiveRecordのレイヤでは同?一であることを保証する
- 20. 検討したこと ?? データの移?行行?方法 –?スキーマの定義情報、データ ?? 移?行行データの検証 ?? MySQL?PostgreSQL互換性 ?? 移?行行期間中のシステムの動き
- 21. 挙動の違いの埋め?方１ ?? MySQLとPostgreSQLで 挙動の違うクエリをどうやって埋めるか –? case ?insensitiveな?文字列列検索索 –? キャストの挙動の違い –? order ?by時のnullの扱い –? 曖昧なgroup ?by –? トランザクション分離離レベルの違い –? Etc…
- 22. 挙動の違いの埋め?方２ ?? PostgreSQLの豊富な機能を使う –? 演算?子の独?自定義 –? citextなどの独?自型 ?? 検討のけっか、どうしても回避できないところは クエリ書き換えで対応するしかない –? 泥泥臭くてもそれしか答えがないときは 受け?入れるしかない –? 検討して?方法がないなら仕?方がない
- 23. 検討したこと ?? データの移?行行?方法 –?スキーマの定義情報、データ ?? 移?行行データの検証 ?? MySQL?PostgreSQL互換性 ?? 移?行行期間中のシステムの動き
- 25. ?目次 ?? 本?日お話しすること ?? Rails複数DBシステム ?? データベース移?行行 ?? 無停?止移?行行の流流れ ?? まとめ
- 30. 簡単でしたか？ ?? わずか5ステップで無停?止移?行行が完了了！ ?? 簡単に?見見えるのは、簡単にかいつまんだから ?? 問題を整理理して課題を洗い出してそのそれぞれに ついてどう対処するか決定していく段取りが必要 –? 準備?八割??行行動?二割
- 31. ?目次 ?? 本?日お話しすること ?? Rails複数DBシステム ?? データベース移?行行 ?? 無停?止移?行行の流流れ ?? まとめ
- 32. まとめ ?? すぐに役?立立つ事例例ではないが考え?方などは 役?立立つと思うので参考になれば ?? RDBMS間でデータ移?行行の時は、 論論理理ダンプをコンバートするとよい ?? データの検証は、OR ?Mapperなど上位のレイヤで 同?一性を確認できると楽 ?? 解決策を探ったうえでシンプルな解決策が無い場合は 腹をくくって泥泥臭くやる ?? 無停?止移?行行は、準備?八割??行行動?二割
- 33. 以上です ?? 勉強会で出た質問 –? 規模は？ →ざっくりギガです。1~～1000のオーダーはご想像にお任せします。 –? テナントの停?止が?一晩で終わらないとかなかった？時間の?見見積もりは？ →事前にデータの規模ベースでベンチマークを?行行い、予測を?立立てた →移?行行が?立立て込んでる?日は並列列ダンプ＆並列列リストアで?高速化を図った –? 無停?止と?言っているが、移?行行中は対象テナントは停?止しているのでは？ →その通りです。システム全体として無停?止という話なので、ちょっと誤解しやすい説明でした。 ?? 回答を拒否した質問 –? 移?行行を決断するに?至った理理由は？ –? 寿司とビール、区別つきますか？ –? いつの話ですか？ ?? 本?日の内容は以下のブログでもまとまっています –? http://www.techscore.com/blog/2014/12/05/rails_?db_?migration/