狠狠撸

MaxComputeはここがやばい
For AliEaters #1 (2/7)
1

自己紹介
? 名前: Bui Hong Ha (ハー)
? ベトナム人で2012年に飛行機で日本に来ました
? 所属: SBクラウドプロダクト技術部
? ロール: クラウドアーキテクト / Alibaba Cloud MVP
? インターネット: telescreen
2
? 動画配信
? Big Data
? Hadoopクラスタを構築運用 (100ノード 1.5PB)
? CDH4.3、CDH5.4
? AWS Certified Solution Architect
? Alibaba Cloud Professional
スキル
プロフィール

アジェンダ
3
Max Compute
データ民主化するツール
Data Works
? 性能ベンチマークSort
Benchmark
? 基盤技術: Fuxi / Pangu
? 列指向データベース
エンジニア
? Data Works
? Tunnel
? Supported Tools
データ分析者

分散処理基盤技術
Fuxi (伏羲)
? リソース管理基盤システム
? ジョブスケジューリングシステム
Pangu (盘古)
? 分散ファイルシステム
1.https://en.wikipedia.org/wiki/Fuxi
2. https://en.wikipedia.org/wiki/Pangu 4

Fuxi: ジョブスケジューリングシステム
? Incremental Resource Management
? User-transparent Failure Recovery
? Effective detection mechanism & multi-level job blacklist
http://www.vldb.org/pvldb/vol7/p1393-zhang.pdf 5

ソートベンチマークの結果
2015 2016
2015年のコンペティションで、Alibabaクラウ
ドチームはGray (100TBデータのソート時間)と
Minute (60sでソートできるデータ量) 試験で優
勝しました
2016年のコンペティションで、Alibabaクラウ
ドチームは Cloud (1TBをソートするための料
金)試験で優勝しました
sortbenchmark.org 6

Hadoopより最大3倍速い
7
0 40 80 120 160
sum with group
sort-merge join
hash join
strealine
io
filter
Time (s)
Hive 2.0 MaxCompute 2.0
2x faster
> 3x faster
2x faster
1.5x faster
? 同じインスタンススペック
? Hiveを最適化。Hive on Tez
? ベンチマークデータサイズ: PBレベル

Max Compute as データマネージメント基盤
8
オンプレミス環境
MySQL
TXT Text Data
…
Oracle
データマネジメント
データ収集データアプリケーションデーター処理 / マネジメント
MaxCompute 基盤
クラウド環境
RDS
OSS
ECS
…
データウェアハウス
Data Mining
Task Scheduling
Scrubbing & Converting
データー同期
ETL
アプリケーション
レポート
リアルタイム
クエリ
データ分析
マイニング
予想
データファイル
アクセス制御?ポータルインテグレーション

最も大変かつ最も楽しくない作業とは？
https://www.forbes.com/sites/gilpress/2016/03/23/data-
preparation-most-time-consuming-least-enjoyable-data-
science-task-survey-says/#59dc34f26f63
9
データ準備 (クリーニング)
が大変、時間がかかる
データ準備 (クリーニング)
が最も楽しくない作業

Data Worksがその大変さを担当する
10
ETL
Extract – Load - Transform
Data Source Data Warehouse
Data Works
Max Computeデータインテグレーション (作業の60%)

Data Works: データ処理ツール
11

デモ: データインテグレーション
? OSSにあるCSVデータを「Max Compute」へ同期
? ツールデモ
? Data WorksのWizardモード
? Data Worksスクリプト
? コマンドライン Tunnel
12

データ処理モデル
13
SQL
Map - Reduce Graph
? アドホック集計
? 定期に長期間バッチ処理
? データウェアハウス分析
? ツールインテブレーショ
ン (BI)
? ソーシャル分析

データ処理モデル – SQLデモ
14

データ処理モデル – MapReduceデモ
15

豊富なツールをサポート
? MaxCompute Studio
? Intellijiをもとに作られるプラグイン
? スクリプト / Javaジョブ開発をサポート
? ジョブ実行状況?ジョブスケジューリング
? コマンドラインをサポート
? Rodps
? Rパッケージ
? MaxCompute上にあるデータを分析可能
? PyOdps
? Pythonパッケージ
? Pandas インターフェース
16

Rodps
18
? Rの豊富な統計計算パッケージ
を利用しながら、ODPSへデー
タアクセスできる
? MaxCompute上のデータに
対して学習済みのモデルを
適用できる
? FDAモデル
? Rpartによる木モデル
特徴

Pyodps
19
? Pandas データフレームインター
フェース
? SQLではなく、ドメイン固有言語
(Domain-Specific Language)に
よってデータをクエリできる
特徴

触ってみよう!
? https://github.com/telescreen/alibaba-maxcompute
20

狠狠撸

Max compute alieaters analyst

Recommended

More Related Content

What's hot (18)

Similar to Max compute alieaters analyst (20)

Recently uploaded (8)

Max compute alieaters analyst

Editor's Notes