今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
0 likes4,925 views
顿叠マイグレーションツールの贵濒测飞补测と贰搁図生成ツールの厂肠丑别尘补厂辫测の绍介です。
![DBマイグレーションの仕組み
? マイグレーションのためのSQLやコードをバージョン毎に管理
? それらを順次実行していくことでマイグレーションを実現
? 積み重ねた後のものが、現在の状態を表すものになる
CREATE TABLE products
id INT PRIMARY KEY AUTO_INCREMENT,
name VARCHAR(255),
description text,
created_at timestamp NOT NULL,
updated_at timestamp NOT NULL
);
class CreateProducts < ActiveRecord::Migration[5.0]
def change
create_table :products do |t|
t.string :name
t.text :description
t.timestamps
end
end
end](https://image.slidesharecdn.com/db-migration-211113130429/85/DB-Flyway-SchemaSpy-4-320.jpg)
![[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな](https://cdn.slidesharecdn.com/ss_thumbnails/awsxon18howfarstepfunctionsgo-211124111849-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to 今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 - (20)
![[ウェビナー] Build 2018 アップデート ～ データ プラットフォーム/IoT編 ～](https://cdn.slidesharecdn.com/ss_thumbnails/20180614azuredataiotwebinar-180614083401-thumbnail.jpg?width=560&fit=bounds)
More from onozaty (20)
Recently uploaded (8)
![ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]](https://cdn.slidesharecdn.com/ss_thumbnails/searchtech-250228102455-ddc5ce09-thumbnail.jpg?width=560&fit=bounds)
今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -
- 1. 今からでも遅くない DBマイグレーション - Flyway と SchemaSpy の紹介 - 2021-11-12 社内勉強会 onozaty
- 2. DBマイグレーション ? 本スライドでのDBマイグレーションとは、データベースのスキーマ やデータを変更する作業 ? アプリケーションのコードと同じように、データベースも変化して いくので、データベースの構造もバージョン管理していく必要があ る ? 様々な環境(本番環境、開発者個人のローカル環境、CI環境など)に対して、 同じように変更が適用できるように ? 現在どのような状態になっているのかが明確になるように
- 3. DBマイグレーションで利用されるライブラリ ? フレームワーク自体でDBマイグレーションの仕組みが提供されてい るものも多い ? Ruby on Rails、Laravel、Django など ? フレームワークに依存せず単独で使えるライブラリ/ツールもあり ? Flyway、LiquiBase、golang-migrate など
- 4. DBマイグレーションの仕組み ? マイグレーションのためのSQLやコードをバージョン毎に管理 ? それらを順次実行していくことでマイグレーションを実現 ? 積み重ねた後のものが、現在の状態を表すものになる CREATE TABLE products id INT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(255), description text, created_at timestamp NOT NULL, updated_at timestamp NOT NULL ); class CreateProducts < ActiveRecord::Migration[5.0] def change create_table :products do |t| t.string :name t.text :description t.timestamps end end end
- 5. DBマイグレーションに何を使うか ? フレームワークに用意されているものがあればそれを使う ? フレームワーク自体に無くても、フレームワークと組み合わせて便 利に使えそうなものがあればそれを ? なければ颁尝滨として使える好きなものを
- 6. Flyway
- 7. Flyway ? Javaで実装されたマイグレーションツール ? SQLまたはJavaでマイグレーションを記述する ? Javaでのマイグレーションは、SQLで書くのが難しいようなときに ? JavaのメジャーなフレームワークのSpring Bootでは、依存関係とし てFlywayを追加するだけで、アプリケーション起動時にマイグレー ションを行ってくれるようになる ? クラスパスからマイグレーションを拾ってくれる ? 単独のCLIツールとしても使える
- 8. Flywayの使い方 (CLI) 1. Flywayをダウンロード 2. DB接続先を設定 3. マイグレーションで実行するSQLファイルを作成 4. マイグレーション実行
- 9. 1. Flywayをダウンロード 下記から利用プラットフォームに応じたものをダウンロードする。 ? https://flywaydb.org/download/community $ wget https://repo1.maven.org/maven2/org/flywaydb/flyway-commandline/8.0.2/flyway-commandline-8.0.2-linux- x64.tar.gz $ tar zxvf flyway-commandline-8.0.2-linux-x64.tar.gz $ ls -l flyway-8.0.2/ total 40 drwxrwxr-x 2 vagrant vagrant 4096 Oct 30 00:10 conf drwxrwxr-x 3 vagrant vagrant 4096 Oct 30 00:10 drivers -rwxr--r-- 1 vagrant vagrant 4044 Oct 20 15:38 flyway -rw-r--r-- 1 vagrant vagrant 3869 Oct 20 15:40 flyway.cmd drwxrwxr-x 2 vagrant vagrant 4096 Oct 30 00:10 jars drwxr-xr-x 7 vagrant vagrant 4096 Oct 20 15:40 jre drwxrwxr-x 6 vagrant vagrant 4096 Oct 30 00:10 lib drwxrwxr-x 2 vagrant vagrant 4096 Oct 30 00:10 licenses -rw-r--r-- 1 vagrant vagrant 699 Oct 20 15:38 README.txt drwxrwxr-x 2 vagrant vagrant 4096 Oct 30 00:10 sql 実行に必要なもの(Javaのランタイムや主要なJDBCドライバ)も同梱されているので、追加で何かインストールしたり ダウンロードする必要なし
- 10. 2. DB接続先を設定 conf/flyway.conf にDB接続先を設定。 ~/flyway-8.0.2$ vi conf/flyway.conf flyway.url=jdbc:postgresql://192.168.33.10:5432/testdb flyway.user=user1 flyway.password=password1 conf/flyway.conf
- 11. 3. マイグレーションで実行するSQLファイルを作成 sql/ 配下にSQLファイルを作成。 ~/flyway-8.0.2$ vi sql/V1__create_initial_tables.sql CREATE TABLE customers ( customer_id serial PRIMARY KEY, name text NOT NULL, mail_address text NOT NULL ); sql/V1__create_initial_tables.sql V1__create_initial_tables.sql Prefix Version Separator Suffix Description
- 12. 4. マイグレーション実行 flyway migrate でマイグレーション実行。 ~/flyway-8.0.2$ ./flyway migrate Flyway Teams Edition 8.0.2 by Redgate Database: jdbc:postgresql://192.168.33.10:5432/testdb (PostgreSQL 13.4) Successfully validated 1 migration (execution time 00:00.025s) Creating Schema History table "public"."flyway_schema_history" ... Current version of schema "public": << Empty Schema >> Migrating schema "public" to version "1 - create initial tables" Successfully applied 1 migration to schema "public", now at version v1 (execution time 00:00.061s)
- 13. 4. マイグレーション実行 テーブルが作成されていることを確認。 ~/flyway-8.0.2$ psql -U user1 testdb psql (13.4) Type "help" for help. testdb=> ?d customers Table "public.customers" Column | Type | Collation | Nullable | Default --------------+---------+-----------+----------+------------------------------------------------ customer_id | integer | | not null | nextval('customers_customer_id_seq'::regclass) name | text | | not null | mail_address | text | | not null | Indexes: "customers_pkey" PRIMARY KEY, btree (customer_id) testdb=>
- 14. マイグレーションを追加 新しいバージョンのファイルを追加することで、マイグレーションが 追加される。 試しにバージョン2としてカラム(phone_number)を追加するSQLファ イルを追加してみる。 ~/flyway-8.0.2$ vi sql/V2__add_phone_number.sql ALTER TABLE customers ADD COLUMN phone_number VARCHAR(20); sql/V2__add_phone_number.sql
- 15. マイグレーションを追加 flyway migrate で再度マイグレーション実行。 ~/flyway-8.0.2$ ./flyway migrate Flyway Teams Edition 8.0.2 by Redgate Database: jdbc:postgresql://192.168.33.10:5432/testdb (PostgreSQL 13.4) Successfully validated 2 migrations (execution time 00:00.054s) Current version of schema "public": 1 Migrating schema "public" to version "2 - add phone number“ Successfully applied 1 migration to schema "public", now at version v2 (execution time 00:00.083s)
- 16. マイグレーションを追加 カラム(phone_number)が追加されていることを確認。 ~/flyway-8.0.2$ psql -U user1 testdb psql (13.4) Type "help" for help. testdb=> ?d customers Table "public.customers" Column | Type | Collation | Nullable | Default --------------+-----------------------+-----------+----------+------------------------------------------------ customer_id | integer | | not null | nextval('customers_customer_id_seq'::regclass) name | text | | not null | mail_address | text | | not null | phone_number | character varying(20) | | | Indexes: "customers_pkey" PRIMARY KEY, btree (customer_id) testdb=>
- 17. マイグレーション実行状況の確認 マイグレーションの実行状況は flyway info で確認できる。 ※ flyway_schema_historyというテーブルがFlywayにより作成され、そこで情報が管理されている ~/flyway-8.0.2$ ./flyway info Flyway Teams Edition 8.0.2 by Redgate Database: jdbc:postgresql://192.168.33.10:5432/testdb (PostgreSQL 13.4) Schema version: 2 +-----------+---------+-----------------------+------+---------------------+---------+----------+ | Category | Version | Description | Type | Installed On | State | Undoable | +-----------+---------+-----------------------+------+---------------------+---------+----------+ | Versioned | 1 | create initial tables | SQL | 2021-10-30 01:26:12 | Success | No | | Versioned | 2 | add phone number | SQL | 2021-10-30 05:20:02 | Success | No | +-----------+---------+-----------------------+------+---------------------+---------+----------+
- 18. DBマイグレーションを途中から導入 ? Flywayはスキーマ内に既にテーブルがある状態でマイグレーション を開始するとエラーになる ? 空の状態から始めることを前提としており、既にテーブルがある＝状態が おかしいとみなされる ? 既に運用されているDBに対して途中からマイグレーションを導入す る方法として、baseline という機能が用意されている ? 現在のDBのバージョンをFlywayに教えて、そのバージョン以前のマイグ レーションは、既に適用済みとして管理する
- 19. バージョン1を適用済みとした場合 baselineとしてバージョン1を指定する。 現在のバージョンが1となり、バージョン2以降が適用対象となる。 ~/flyway-8.0.2$ ./flyway baseline -baselineVersion=1 Flyway Teams Edition 8.0.2 by Redgate Database: jdbc:postgresql://192.168.33.10:5432/testdb (PostgreSQL 13.4) Creating Schema History table "public"."flyway_schema_history" with baseline ... Successfully baselined schema with version: 1 ~/flyway-8.0.2$ ./flyway info Flyway Teams Edition 8.0.2 by Redgate Database: jdbc:postgresql://192.168.33.10:5432/testdb (PostgreSQL 13.4) Schema version: 1 +-----------+---------+-----------------------+----------+---------------------+----------+----------+ | Category | Version | Description | Type | Installed On | State | Undoable | +-----------+---------+-----------------------+----------+---------------------+----------+----------+ | | 1 | << Flyway Baseline >> | BASELINE | 2021-10-30 08:01:12 | Baseline | No | | Versioned | 2 | add phone number | SQL | | Pending | No | +-----------+---------+-----------------------+----------+---------------------+----------+----------+
- 20. バージョン1を適用済みとした場合 この状態でflyway migrateを行うと、バージョン2から適用される。 ~/flyway-8.0.2$ ./flyway migrate Flyway Teams Edition 8.0.2 by Redgate Database: jdbc:postgresql://192.168.33.10:5432/testdb (PostgreSQL 13.4) Successfully validated 2 migrations (execution time 00:00.054s) Current version of schema "public": 1 Migrating schema "public" to version "2 - add phone number" Successfully applied 1 migration to schema "public", now at version v2 (execution time 00:00.075s) ~/flyway-8.0.2$ ./flyway info Flyway Teams Edition 8.0.2 by Redgate Database: jdbc:postgresql://192.168.33.10:5432/testdb (PostgreSQL 13.4) Schema version: 2 +-----------+---------+-----------------------+----------+---------------------+----------+----------+ | Category | Version | Description | Type | Installed On | State | Undoable | +-----------+---------+-----------------------+----------+---------------------+----------+----------+ | | 1 | << Flyway Baseline >> | BASELINE | 2021-10-30 08:01:12 | Baseline | No | | Versioned | 2 | add phone number | SQL | 2021-10-30 08:17:45 | Success | No | +-----------+---------+-----------------------+----------+---------------------+----------+----------+
- 21. DBマイグレーションを途中から導入 ? プロジェクトに途中から導入する場合、現在のDBの状態をバージョ ン1として一つのSQLファイルにし、baselineとしてバージョン1を 設定すればすぐに始められる ? 初期化用のDDLあれば、それをそのままバージョン1のSQLとして入れる ? 万が一DDLが無くてDBしかない場合には、dumpなどでDLL吐き出していれ るなど
- 23. DBマイグレーションとER図 ? ER図やテーブル定義書みたいなものを、DBマイグレーションと別 に管理するのは難しい ? DBマイグレーションによって出来上がるものと、ER図やテーブル定義書が アンマッチになりかねない ? DBマイグレーション後のDBから、ER図やテーブル定義書を作るこ とでアンマッチを防ぐ
- 24. SchemaSpy
- 25. SchemaSpy ? DBの情報を元に、ER図やテーブル、カラム一覧などの情報をHTML 形式のドキュメントとして出力するツール ? DBの構造を確認するのにとても便利 どんなものが出来上がるのかは、下記 サンプルが参考になる ? https://schemaspy.org/sample/index.html
- 26. SchemaSpyの使い方 ? 事前準備 ? 設定 ? 実行 細かい説明は下記の記事にまとめているので参考に ? https://zenn.dev/onozaty/articles/schema-spy-er
- 27. SchemaSpy – 事前準備 各種ファイルのダウンロード＋インストールを実施。 ? https://schemaspy.readthedocs.io/en/latest/installation.html ? SchemaSpyのjarファイル入手 ? Java8以降のインストール ? 対象のDBに応じたJDBCドライバの入手 ? Graphvizのインストール(オプション) 事前準備はそこまで面倒じゃないが、Docker Imageが提供されていて、 そちらを使うことで事前準備が省略できるのでおススメ。 ? https://hub.docker.com/r/schemaspy/schemaspy/
- 28. SchemaSpy – 設定 設定ファイルを作成。 # type of database. Run with -dbhelp for details schemaspy.t=pgsql11 # optional path to alternative jdbc drivers. schemaspy.dp=drivers # database properties: host, port number, name user, password schemaspy.host=192.168.33.10 schemaspy.port=5432 schemaspy.db=testdb schemaspy.u=user1 schemaspy.p=password1 # output dir to save generated files schemaspy.o=output # db scheme for which generate diagrams schemaspy.s=public schemaspy.properties
- 29. SchemaSpy – 実行 実行。 Docker Image利用時は下記のように実行。 ~$ ls -1R .: drivers schemaspy-6.1.0.jar schemaspy.properties ./drivers: postgresql-42.2.23.jar ~$ java -jar schemaspy-6.1.0.jar ~$ sudo docker run -v "$PWD/output:/output" -v "$PWD/schemaspy.properties:/schemaspy.properties" ? schemaspy/schemaspy:latest
- 30. 参考サイト ? Flyway公式サイトのドキュメント (ここ読めば全部書いてある) ? https://flywaydb.org/documentation/ ? SchemaSpy公式サイトのドキュメント (ここ読めばほとんど書いてある) ? https://schemaspy.readthedocs.io/en/latest/ ? SchemaSpyのDocker Imageの利用方法 ? https://hub.docker.com/r/schemaspy/schemaspy/