![[de:code 2019 振り返り Night!] Data Platform](https://cdn.slidesharecdn.com/ss_thumbnails/20190610decode2019dataplatformrecap-190610113039-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to Delta Lake with Synapse dataflow (20)
![[db tech showcase Tokyo 2017] E35: 12台でやってみた！DWHソフトウェアアプライアンス Db2 Warehouse ～...](https://cdn.slidesharecdn.com/ss_thumbnails/e35-2-170913082538-thumbnail.jpg?width=560&fit=bounds)
![[D33] そのデータベース 5年後大丈夫ですか by Hiromu Goto](https://cdn.slidesharecdn.com/ss_thumbnails/d33hp-140623211550-phpapp01-thumbnail.jpg?width=560&fit=bounds)
More from Ryoma Nagata (8)
Recently uploaded (11)
Delta Lake with Synapse dataflow
- 1. 【中級者向け】 Delta Lake with Mapping Dataflow Microsoft MVP for Data Platform 2021 永田 亮磨 Twitter:@ryomaru0825 Linkedin:ryoma-nagata-0825 Qiita:qiita.com/ryoma-nagata
- 2. 1. Delta Lakeの利点 2. デモ AGENDA
- 3. ? DWHではできたSQLによる1行1行に対するUPDATEコマンドなどの修正も、 ファイル保管となるデータレイクでは不正データ1行を修正することは困難 （わらの中の針） データレイクの課題 データスワンプ（沼） 生データフォルダ/ ├ 2020-01-01/ ├ 2020-01-02/ │└ data-01.csv ├ 2020-01-03 │└ data-01.csv ? ? ? DataLake ID eventtype data 1click AAA 2click BBB ID eventtype data 2click BBB' 3conversion CCC
- 4. OSSプロジェクト『Delta Lake』 ? Sparkに最適化されたデータレイク用 ソフトウェア ? ファイルシステム上で動作しUpdate などのDML実行が可能 ? 実態はparquetファイルのため高圧 縮率 ? 現在version 1.0.0 ? https://delta.io/
- 5. Delta Lake ベネフィット例 - CRUDオペレーション ? Update、Delete、 Mergeをサポー トし、データの修正?削除Upsertを 実行 ? ストレージ上で動作するOSSソフト ウェアなので、RDBMSに対して費用 を払わないでよい ID eventType timestamp 1 clck 2020/4/1 23:00 2 clck 2020/4/1 23:01 3 conversion 2020/4/1 23:02 UPDATE events SET eventType = 'click’ WHERE eventType = 'clck' ID eventType data 1 click AAA 2 click BBB 3 conversion CCC ID eventType data 3 conversion ccc' 4 conversion DDD MERGE INTO events USING updates ON events.eventId = updates.eventId WHEN MATCHED THEN UPDATE SET events.data = updates.data WHEN NOT MATCHED THEN INSERT (date, eventId, data) VALUES (date, eventId, data) ID eventType data 1 clck AAA 2 clck BBB 3 conversion ccc' 4 conversion DDD
- 6. ? 分離されたクエリエンジンにより物理的なDWHを構成しなくてもデータの利用が 可能。 物理DWH/論理DWH 専用 ストレージ データレイク テーブル テーブル ファイル ファイル データレイク ファイル ファイル クエリ発行口 （URL） ＋ エンジン クエリ発行口 （URL） ＋ エンジン BI,SQL BI,SQL 論理DWH =サーバーレスSQLプールやDatabricks 物理DWH ＝専用SQLプール ? 専用ストレージを利用した 高速クエリ ? データの実体はデータレイクに持つ （レイクハウス） テーブル テーブル 仮想テーブル View ロード 都度 アクセス
- 7. Azure Analyticsにおけるデータ分析処理ツール ローコード コードファースト ? データを利用可能な状態に整えて保存する ? データクレンジングなどを用いて高品質なデータを生成 ? 個別のニーズに応じた分析用データを創り上げる ? データ探索をしながら特化データを生成 データ統合（ETL） データ準備（プレパレーション） T-SQL/ Spark Notebook Mapping Dataflow Power Query Online
- 8. ? シナリオ:過去の映画評価データの統合、可視化 デモ構成 ? 参考:Delta Lake ETL とデータ フロー - Azure Data Factory | Microsoft Docs Azure Data Lake Storage Gen2 スケジュール実行な どでAPI負荷をかけな いように注意 GUIデータ統合 1. ～1999年データ登録 ? 列追加（高評価フラグ） 2. 追加/更新/削除処理 1. 不正データ削除 2. 2000年～データ追加 3. 1999年データ更新 データ連携 Azure Databricks 可視化分析 Power BI Synapse Pipeline Dataflow Power BI から Delta Lakeへの アクセスを仲介 （高速クエリエンジン） Cluster