GCPUG in Osaka #6 5分でCloud Dataprepを説明する
- 2. Datalake
- 3. Datalake？ ? A data lake is a method of storing data within a system or repository,in its natural format, that facilitates the collocation of data in variousschemata and structural forms, usually object blobs or files. ? The idea of data lake is to have a single store of all data in the enterprise ranging from rawdata (which implies exact copy of source system data) to transformed data whichis used for various tasks including reporting, visualization, analytics andmachine learning. ? The data lake includes structured data from relationaldatabases (rows and columns), semi-structured data (CSV, logs, XML, JSON),unstructured data (emails, documents, PDFs) and even binary data (images, audio,video) thus creating a centralized data store accommodating all forms of data. ? https://en.wikipedia.org/wiki/Data_lake
- 4. ETL ? Extract ? Transform ? Load
- 5. ETL？ Extract/Transform/Load（略称：ETL）とは、データウェアハウスにおける以下のような工程を指 す。 ? Extract - 外部の情報源からデータを抽出 ? Transform - 抽出したデータをビジネスでの必要に応じて変換?加工 ? Load - 最終的ターゲット（すなわちデータウェアハウス）に変換?加工済みのデータをロード ETLは、データウェアハウスにデータを実際にロードする方法として重要である。ETLという用語は データウェアハウスでのデータのロードだけでなく、任意のデータベースでのロード工程を指すこ ともある。ETLはレガシーシステムとの統合にも使われる。通常のETL実装は、処理についての監査 証跡を記録する。ほとんど全ての設計において、この監査証跡は、元のデータが利用不可能な場合 にETLの結果を再現できるほどの細粒度のレベルにはなっていない。 https://ja.wikipedia.org/wiki/Extract/Transform/Load
- 10. Cloud Dataprep ?分析用データを視覚的に探索、クリーニング、準備 するためのインテリジェント クラウドデータ サービ ス(https://cloud.google.com/dataprep/?hl=ja) ?フルマネージド ?Prep==準備 ?UIが秀逸 ?データ分析の前準備は、Dataprepで全てできるかも
- 13. Cloud Dataprep
- 16. Cloud Dataprep
- 17. Cloud Dataprep
- 19. 残念なところ RDBで使いたい