狠狠撸

(C) Recruit Technologies Co.,Ltd. All rights reserved.
ビッグデータ処理技術の全体像と
リクルートでの使い分け
2017/3/29
第7回ビッグデータ基盤研究会
株式会社リクルートテクノロジーズ
ビッグデータ部
渡部徹太郎

BIG DATA Department自己紹介
? ID: fetaro
? 名前: 渡部徹太郎
? 所属: リクルートテクノロジーズビッグデータ部
? 略歴:
? 学生: 東京工業大学大学院
「キーワード非含有ファイルを検索可能とする
ファイル間関連度を用いた検索手法の評価」
? SIer 前半: 大手証券会社のオンライントレードシステム基盤
? SIer 後半: オープンソース技術部隊 NoSQL, MongoDB
? 現職:
? 全社横断分析基盤: Oracle Exadata, Hortonworks
? 個社向け分析基盤: AWS EMR
? 趣味: 自宅サーバ、麻雀
? エディタ: emacs派
1
AWS
ビッグデータ
ユーザ会

BIG DATA Departmentリクルートグループの会社構成
2
基盤プロジェクト管理
UI/SEOビッグデータ部
R&D
IT Promotion
リクルート
ホールディングス
リクルートキャリア
リクルート住まいカンパニー
リクルートライフスタイル
リクルートジョブズ
リクルートスタッフィング
リクルートマーケティングパートナーズ
スタッフ
リクルートテクノロジーズ
リクルートアドミニストレーション
リクルートコミュニケーションズ
事業会社
機能会社

BIG DATA Departmentリクルートテクノロジーズビッグデータ部
? リクルートのサービス
? ビジネスモデル
? 「リボンモデル」
3
カスタマ
（ユーザ）
クライアント
（企業）
? 主業務
? 分析：KPIの測定/競合分析
? 施策：マッチング/ユーザ属性推
定/ターゲッティング
? ミッション
? いろんなユースケースに併せて
適材適所の基盤を用意
? ビッグデータ処理を駆使して
売上向上?コスト削減
???１００以上のサービス

ビッグデータ処理技術の全体像
4

BIG DATA Departmentデータベースを分類する軸：重視する性能
5
? レスポンスを重視 →主にオペレーション用途
? スループットを重視 →主に分析用途
アプリケーションサーバ
オペレーション
用途
データベース
登録画面
リクエスト参照
更新
挿入
参照画面
編集画面
即時応答
マスタ
データベー
ス
ＢＩツール
集計
バッチ
ロード
分析用途
データベース
レポート生成
ジョブ
抽出
ＣＳV
バッチ
ロード
レポート
２０分で全件集計
１０秒で全件取得
1 1982年生
2 1967年生
3 2000年生
4 2000年生
男
女
女
男
ID 年齢性別
1 1982年生
2 1967年生
3 2000年生
4 2000年生
男
女
女
男
ID 年齢性別
行志向アクセス
列志向アクセス

BIG DATA Departmentデータベースを分類する軸：性能拡張方式
6
スケールアップ
集約
スケールアウト
分散
app app app app app appapp app app
一般的なハードウェア
を複数並べて並列処理
単一HWハードウェアを強化
性能限界
CPU↑
ディスク↑
NW↑
? データベースの性能拡張方式

BIG DATA Departmentデータベースの分類
7
レスポンス重視
(オペレーション用途)
スループット重視
（分析用途)
RDB(OLTP)
NoSQL
Hadoop
RDB(DWH)
クエリサービス

BIG DATA Department
BigQuery
Spanner
データベースの分類
8
（分析用途)
DynamoDB
Redshift
EMR
Exadata
Athena
Aurora/RDS
RDB(OLTP)
NoSQL
Hadoop
RDB(DWH)

BIG DATA Department
BigQuery
Spanner
9
（分析用途)
DynamoDB
Redshift
EMR
Exadata
Athena
Aurora/RDS
RDB(OLTP)
NoSQL
Hadoop
RDB(DWH)

BIG DATA Department
オンプレクラウド
アプライアンスソフトウェア
RDB(DWH)
? ひとことで言うと
? データの抽出?集計に特化したRDB
? アーキテクチャの特徴
? データをパーティショニングして複数ディスクから同時に読む
(製品によっては)ハードウェアを最適化して、アプライアンスとして提供
? 列志向で圧縮してデータ格納
10
Redshift
Exadata

BIG DATA DepartmentRDB(DWH)
? 処理イメージ
? レスポンス：数秒、数分
? データサイズ：直近１３ヶ月（1T?数10T)
? 計算：SQLベース
? INSET,UPDATE,DELETEやトランザクションはできるが非常に遅い
? ユースケース
? 自由検索
? レポート
? BIツールのデータソース
11

BIG DATA Department
ストレージノードストレージノードストレージノード
RDB(DWH)
? データをパーティショニングして複数ディスクから同時に読む
(製品によっては)ハードウェアを最適化して、アプライアンス
12
データベースノード
HDD
SSD
絞込み処理
HDD
HDD HDD
HDD
SSD
絞込み処理
HDD
HDD HDD
HDD
SSD
絞込み処理
HDD
HDD HDD
データベースノード
CPU
読み込むブロックを最小化
ディスクIOを削減
キャッシュして
ディスクIOを削減
CPUを多数搭載し、CPUボト
ルネックを軽減
40Gbpsのラック内SANによりネッ
トワークボトルネックを軽減
CPU CPUCPU CPU CPU
40G bps
Oracle Exadataの例

BIG DATA DepartmentHadoop
? 分散したファイルに、様々
な分散処理をできるソフト
ウェア群
? データはファイル
? ストレージと処理が分離
? 途中でノードがダウンして
も処理を継続
1313
分散ファイルシステム
分散処理エンジン
ABC
A B C
クライアント
計算
ノード
計算
ノード
計算
ノード
コーディネータ
①データの配布
②提出
③計算
計算
結果
プログラム
プログラム
クライアント
プログラムプログラム

14
プロダクト分散ファイル
システム
分散処理エンジ
ン
オン
プレ
OSSベースでい
ろいろ使える
MapR-FS
クラ
ウド
EMR S3
Impala
Cloud
Dataproc
GCS
? Hadoop上の分散集計を
SQLで表現できる
? 基本はSELECTとLOAD
のみであり, INSERT,
UPDATE,DETELEは出
来ない
? トランザクションもない
SQL on Hadoop

BIG DATA Department
core core core
HDFS
Hadoop
? クラウド上のHadoop
? 計算と、ストレージの分離
? 計算ノードは使った分だけ払えば良い
15
S3
Master
データデータ
コンテナ
計算
データデータ
コンテナ
計算
データデータデータデータ
core
コンテナ
計算
Master
コンテナ
計算
core
コンテナ
計算
core
コンテナ
計算
オンプレのHadoop クラウドのHadoop
(EMRの例）
NEW
使い捨てで
きる
容量あたり
のコストが
安い

? 処理のイメージ
? レスポンス：数十分?数時間
? データサイズ：全データ(10T?数P)
? 計算：分散できる計算なら何でも
? ユースケース
? 長期的なビジネストレンド分析
? RDB(DWH)に入れる前のデータ加工
? 機械学習による予測、クラスタリング
? 自然言語処理
16

BIG DATA Departmentクエリサービス
? 使った分だけ料金を払えばいいSQLサービス
? クエリに応じて動的にリソースを確保
? 基本的にはデータをロードし、それに対するSELECTがメイン
? INSERT,DELETE, UPDATEは苦手(場合によってはできない)
? トランザクションはない
? JOINはRDBほど最適化されていない
? カスタマイズはできない
17
Google独自 Hadoopベース（だと思う）
BigQuery Athena

リクルートテクノロジーズにおける使い分け
18

BIG DATA Department
BigQuery
Spanner
19
（分析用途)
DynamoDB
Redshift
EMR
Exadata
Athena
Aurora/RDS
RDB(OLTP)
NoSQL
Hadoop
RDB(DWH)

BIG DATA Department
パターンビッグデータ処理技術コスト機能/非機能
モノ人
(運用)
拡張性 OLTPと
の接続
JOIN性能
部分更新
計算の
豊富さ
オンプレ
RDB
(DWH)
?
高い
? ?
増や
せな
い
? ◎
最適化
が強い
△
SQLの
み
オンプレ
Hadoop
◎ ?
つらす
ぎる
△
物理
制約
? △ ◎
クラウド
RDB
(DWH)
△ ? ? △ ◎
RDBが
強い
△
SQLの
み
クラウド
Hadoop
? △ ◎ △ △ ◎
クエリ
サービス
? ◎
運用
フリー
◎ △ △ △
SQLの
み
BigQuery
ケースに併せて使い分け
20
Exadata
EMR S3
Redshift
Athena

狠狠撸

ヒ?ックテ?ータ処理技术の全体像とリクルートて?の使い分け

More Related Content

ヒ?ックテ?ータ処理技术の全体像とリクルートて?の使い分け