マスタデータの管理と运用について
- 8. キーと値の対応表を用意
- 11. 例えばこんなデータ ?都道府県マスタ / 47件 1:北海道 / 2:青森県 / 3:岩手県/ 4:宮城県 / 5:秋田県 / 6:山形県 … ?金融機関コード / 約4000件 1:みずほ銀行 / 5:三菱UFJ銀行/ 9:三井住友銀行 / 10:りそな銀行 … ?ポケモン一覧 / 1000件弱 1:フシギダネ / 2:フシギソウ / 3:フシギバナ / 4:ヒトカゲ … ?カテゴリ一覧 / 10件 general:一般 / social:世の中 / economics:政治と経済 …
- 12. データベース管理＋管理画面
- 16. データベースとフロントエンド （SPA/PWAやネイティブアプリの設計やビルドを考える） ? 「13」を「東京」と表示するためにHTTP通信？ ? ビルド時にbundleすれば問題ない。 ? 「25」を「ピカチュウ」と表示するためにHTTP通信？ ? ビルド時にbundle、すれば問題ない？（たまに増える） ? 「176-0001」を「練馬区練馬」に変換する場合は？ ? ビルド時にbundle、して良いのか？（全12万件のデータ） ? そもそもビルドにDB接続が必要なのはどうなのか？
- 19. 运用できる？
- 24. これをプログラムに取り込みたい
- 25. オブジェクトのプロパティ名を定义
- 26. 箩蝉辞苍での型を定义
- 28. 入力できてはならないデータ
- 29. 异常なデータの混入をテストで弾く
- 30. こんなデータ管理 ?データ本体をgit経由で管理?配布 ?変換ツールやテストをdocker等で配布 ?データの環境差異はブランチで管理 ?テストをパスしないcommitはmerge拒否 ?テストをパスしたcommitは自動deploy 表計算 + VCS + テスト deploy ＝ CI/CD ↓ 管理画面と同等の機能
- 31. 笔贬笔からの利用
- 35. 笔贬笔でのパフォーマンス
- 36. 笔贬笔でのパフォーマンス ?都道府県データ 47件 ?市区町村データ 約1700件 ?郵便番号データ 約12万件 何件までコード化可能か？
- 37. 笔贬笔でのパフォーマンス 郵便番号データ 約12万件 ?配布状態 12.3MB ?json変換 33.5MB ?php変換 43.1MB https://www.post.japanpost.jp/zipcode/download.html
- 39. 笔贬笔でのパフォーマンス ！？
- 43. それ以外の選択肢 ?yaml / json + git ? ○ diffが見やすい / × 書ける人を選ぶ ?csv / tsv + git ? △ diff可だが見づらい / × Excel可だが関数は保存できない ?Google Spreadsheet + API ? ○ 同時編集できる / △ ビルド処理が外部サービスに依存 ?xlsx + git ? ○ 豊富な関数?ユーザーが多い / × マージ不可
- 44. データの特性を见极める
- 46. 誰が使うデータか？ ? 元データ上では「メタデータトリブル（※1）」 ? 変換時に中間層を通し配列化 ? 元データ上では「ジェイウォーク（※1）」 ? 変換時に正規化（元データの正当性はテストで担保） ? 元データ上では「フラグの闇（※2）」 ? 変換時にフィルタ（論理削除）や出力先変更（STI） ? アプリケーション上では「失われた事実（※2） 」 ? 元データ上では全履歴を管理（変換時にフィルタ） ※1 オライリー?ジャパン「SQLアンチパターン」 Bill Karwin 著 / 和田 卓人、和田 省二 監訳 / 児島 修訳 ※2 技術評論社「失敗から学ぶRDBの正しい歩き方」 曽根壮大 著
- 48. 本当に必要なデータか？ （架空の事例：とあるソーシャルメディアの開発中） 「エントリはカテゴリ分けをお願いします！ 」 「どんなカテゴリになるんですか？ 」 「『政治?経済』『テクノロジー』とかなんだけど、 後からでも変えられるように… 」 「はい、じゃあデータは誰でも編集できるようにして おきますね！」 ※具体的なイメージが湧きやすいよう「はてなブックマーク」の画面や文言を引用していますが登壇者ははてな社とは何の関係 もありません。内容もあくまで「一般的な開発でありがちなこと」をまとめた架空の事例です。
- 51. 本当に必要なデータか？ 「政治?経済」「テクノロジー」とかなんだけど、後からでも変えられ るように… ? 「後」とはいつか？ 開発中 / 運用開始後 / 両方 ? 何に対する要件なのか？ プログラム / データ / デザイン / サービス全体 ? 誰が変更するのか？ エンジニアのみ / 非エンジニア含む / スキル問わず変更可 ? いつ変更するのか？ いつでも / 他と足並みを揃える必要 / 変更時はメンテ必須
- 52. 例えばこんなデータ ?都道府県マスタ / 47件 1:北海道 / 2:青森県 / 3:岩手県/ 4:宮城県 / 5:秋田県 / 6:山形県 … ?金融機関コード / 約4000件 1:みずほ銀行 / 5:三菱UFJ銀行/ 9:三井住友銀行 / 10:りそな銀行 … ?ポケモン一覧 / 1000件弱 1:フシギダネ / 2:フシギソウ / 3:フシギバナ / 4:ヒトカゲ … ?カテゴリ一覧 / 10件 general:一般 / social:世の中 / economics:政治と経済 …
- 53. まとめ ? 「データベース管理＋管理画面」がベストとは限らない ? 既存のツールをうまく使うことで本来の開発に集中 ? PHPでの実装例（OPCacheやPreloadで巨大データもOK） ? 変換層を設けることで堅牢性と利便性を両立 ? 運用シーンを考えながらツールの選定や要否を考える