データ分析を支える技術 DWH再入門
- 2. 2??紹介 ? ?名 - ?川 覚 (いしかわ さとる) ? 所属 - データアナリティクス事業本部 (DA事業本部) - インテグレーション部 - 札幌オフィス勤務 ? 略歴 - メーカー系SIer、ITベンチャー企業、現在に?る ? 担当業務 - データ分析基盤の設計?開発、コンサルティング ? 好きなサービス - Amazon Redshift/Athena、Snowflake 、Google BigQuery 2020 APN AWS Top Engineers 選出
- 3. 3アジェンダ ? DWH再?? ? DWHの特性 ? ディメンジョナルデータモデル ? 分析データの利? ? ?般的なDBとDWHの相違点 ? DWHのアーキテクチャ
- 4. 4 DWH再??
- 6. 6DWHとは DWHはデータウェアハウスの略（データの倉庫） 分析しやすく検索できるように蓄積したデータベース ? 部?のデータをDWHに集め ? そのデータを分析しやすく変換 ? 分析の?的ごとにデータを作成?蓄积
- 10. 10 DWHの特性
- 11. 11DWHの特性 ビル?インモンさんが提唱するDWHの4つ特性 1. 統合化（integrated） 2. サブジェクト指向（subject oriented） 3. 時系列（time variant） 4. 恒常性（nonvolatile）
- 12. 12DWHの特性 ビル?インモンさんが提唱するDWHの6つ特性 1. 統合化（integrated） 2. サブジェクト指向（subject oriented） ? 詳細データ（detail data） ? 要約データ（summary data） 3. 時系列（time variant） 4. 恒常性（nonvolatile）
- 13. 13DWHの特性 まずは部?のデータをDWHに集める 部?のデータを?箇所に集めるには、部?のDBからエクス ポートしたファイルをDWHにインポートするのが?般的で す。 ? 部?のDBからエクスポートしたファイルはオブジェクトス トレージにアップロードする ? 補??Amazon Redshiftの場合、S3（オブジェクトスト レージ）に集めたデータファイルは、データファイルに対し て直接クエリを実?できる「データレイク」のストレージと しても活?できる
- 14. 14DWHの特性 1. 統合化（integrated） 各部?のデータの表記揺れや意味を統?します。データを利? するアナリストが個々のデータの違いを意識せずに利?できる ように整理する。 例． ? ?付?和暦から?暦変換、JSTからUTC変換 ? ?字列???字??字、整数?少数、表記揺れ ? 値?Nullや空?字、コード体系の取り扱い
- 15. 15DWHの特性 1. 統合化（integrated） 補??データの変換?法 ? ETL（Extract Transform Load） ? ETLツールでデータを変換してロードする?式 ? ELT（Extract Load Transform） ? ステージングエリアにデータをロードした後、SQLでデータを変 換する?式
- 16. 16DWHの特性 2. サブジェクト指向（subject oriented） ? 「商品」や「顧客」のように分析の軸（次元）ごとに集計し て蓄積したデータである「データマート」を作成する ? 複数ディメンジョンのデータマート?データ探索?途 ? 単?ディメンジョンのデータマート?パフォーマンス重 視のためダッシュボード?途 ※グラニュラリティ（要約の粒度）は要件やデータの規模に よって調整する
- 17. 17DWHの特性 2. サブジェクト指向（subject oriented） ? 詳細データ（detail data）?分析しやすく変換したデータ をそのまま保存 ? 要約データ（summary data）?複数の詳細データを結合 したり、集計した結果を保存
- 29. 29ディメンジョナルデータモデル ディメンジョナルデータモデルとは ? ラルフ?キンボールさんが提唱するディメンジョナルモデル とは、スタースキーマでDWHを構築すること ? 分析したい値を持つファクトテーブルと、分析の軸（次元） となる値を持つディメンジョンテーブルから構成される ? ERモデル（第3正規形）は分析データのモデリングに最適 ではない
- 35. 35 分析データの利?
- 36. 36分析データの利? 代表的なデータ分析の?法 ? ダイス ? スライス ? ドリルアップ?ドリルダウン BIツールを使い始める前に 理解することをおすすめします。
- 39. 39分析データの利? ドリルアップ?ドリルダウン 分析の深さを詳細にしたり、まとめたりして変更する操作。 ? 例1．年?ごとに?っていた分析を、粒度をあげて年単位に することをドリルアップという ? 例2．逆に粒度を下げて?単位にすることをドリルダウンと いう ? 年??のドリルアップ?ドリルダウンはBIツールを?いる と簡単にできる
- 40. 40分析データの利? BIツールによる可視化 ? ダイス、スライス、ドリルダウン?アップの操作が容易 ? データを2次元的なクロス集計表だけでなく、様々な表?形 式（グラフなど）でデータを表現できる ? 定型分析 ? ダッシューボードなど、常に表?する情報は、パフォー マンス重視の単?ディメンジョンデータマートを?いる ? データ探索（データディスカバリ） ? 統合化（integrated）後のデータや既存の複合ディメン ジョンデータマートを?いて、新たな洞察を得る
- 43. 43相違点 アクセスパターン ? オンライントランザクション処理（OLTP）??般的なDB ? インデックスのキーから少数のレコードを取得?更新 ? インタラクティブであり、素早く応答が必要 ? オンライン分析処理（OLAP）?DWH ? ?量のレコード中の少数の列だけを読み出しが多い ? 要約統計 (レコード数、合計、平均など)を計算した結果 をユーザーに返したり、テーブルに保存する
- 44. 44相違点 データアクセスの?較 特性 オンライントランザクション処理 (OLTP: OnLine Transaction Processing) オンライン分析処理 (OLAP: OnLine Analytic Processing) データの規模 数GBから数TB 数百GBから数PB 読み込みの パターン インデックスのキーを?いた少数 のレコードの低レイテンシ読み込 み ?量のレコード中の少数の列だ けを読み込み 書き込みの パターン ランダムアクセスと低レイテンシ 書き込み レコード中の更新した列の追加 書き込み、もしくは?量データ の?括インポート
- 45. 45 DWHのアーキテクチャ
- 49. 49DWHのシステム構成 複数のノードを?いた並列分散処理 ?量のデータの分析を想定した並列分散アーキテクチャを採? している。 ? シェアードナッシング ? ストレージをノードごとに割り当て、複数ノードで並列 分散処理する ? シェアードストレージ ? データを共有ストレージに保存し、複数ノードで並列分 散処理する ? ストレージとコンピューティングを分離
- 50. 50DWHのシステム構成 DWHの例 ? シェアードナッシングを採?しているDWH ? Amazon Redshift（RA3はハイブリッド） ? Teradata ? Vertica ? シェアードストレージを採?しているDWH ? Google BigQuery ? Snow?ake
- 52. 52 まとめ
- 53. 53まとめ DWHのデータ設計 ? アナリストが個々のデータの違いを意識せずに利?できるよ うにデータを統合化（integrated）する ? 分析?途応じて、結合?集計されたデータマートが時系列か つ永続的に保存する ? 分析?途のテーブルはディメンジョナルデータモデル（ス タースキーマ）を採?し、第2正規化までとする
- 54. 54まとめ DWHのデータ活? ? データの可視化にはデータマートとBIツールが有効 ? 複数ディメンジョンのデータマート?データ探索?途 ? 単?ディメンジョンのデータマート?パフォーマンス重 視のダッシュボードなど
- 55. 55まとめ DWHのアーキテクチャ ? ?量レコード中の少数の列の読み込みを想定して列指向スト レージを採?している ? ?量のデータを処理できるように伸縮?在で並列分散処理が 可能なシステム構成を採?する ? 特に「ビッグデータの分析」であれば上记は必须です