大规模データ分析を支えるインフラ系オープンソースソフトウェアの最新事情
- 2. 自己紹介 ?? 草薙 昭彦 (@nagix) ?? MapR Technologies データエンジニア NS-SHAFT 無料!
- 4. 一般人 収集 抽出 変換 加工 格納 集計 加工 生成 モデル 作成 可視化 レポート 手入力 Excel Excel Excel Excel
- 5. 一般人 収集 抽出 変換 加工 格納 集計 加工 生成 モデル 作成 可視化 レポート 手入力 Excel Excel Excel Excel 実は専門家も
- 7. 組織の規模が大きくなると ?? データボリューム –?大容量ストレージ?効率の良い格納フォーマット ?? 処理性能 –?データ増や複数ユーザの同時アクセスに対応 ?? 信頼性?可用性 –?ハードウェアのHA化?データの複製 ?? セキュリティ –?認証?アクセス制御?暗号化?監査
- 9. ビッグデータって何でしたっけ ?? データボリューム –?従来のアーキテクチャでは処理格納できない量 ?? データの種類 –?非構造化（=スキーマが確定していない）データ ?? データの流入頻度 –?月次?日時バッチ投入から都度の投入へ
- 10. 大規模なデータを扱う時に重要なこと ?? スケールアウト（水平スケーラビリティ） ?? CPUとストレージの距離（データローカリティ） サーバ ??? スケールアウト可能なアルゴリズム?データ格納方式 共有ストレージ (NAS/SAN) サーバ レイテンシ の問題 スループット の問題 サーバ サーバ サーバ 内蔵 HDD /SSD 内蔵 HDD /SSD 内蔵 HDD /SSD CPU CPU CPU
- 12. 分析のROI ?? 最も重要なのはデータを増やしたとしてもそ れに見合うリターンが得られるかどうか –?データが増えれば得られる価値は上がりそう?? –?問題はコストをいかに抑えることができるか ?? コモディティハードウェアは必須！ ?? スケールアウト分散処理ソフトウェアは必須！ ?? オープンソースソフトウェアは有力な選択肢
- 13. 参考 ?? Google対Yahoo—インターネット戦争でどうしてここ まで差がついたのかを振り返る hZp://jp.techcrunch.com/2016/05/23/20160522why-google-beat-yahoo-in-the-war-for-the-internet/ –? “NetAppハードウェアのコストはYahooの規模の拡大と同 じ速さで増大し、Yahooの利益の大きな部分に食い込むこ ととなった” –? “これに対して Googleは、規模を拡大し新サービスを追加 するときに起きるはずの問題を、それが起きる前に予期し、 効率的に対処できるようGoogle File Systemの開発に全力 を挙げた”
- 15. Hadoopって? サーバ サーバ サーバ サーバ サーバ サーバ
- 17. Hadoopって? サーバ Hadoop Distributed File System (HDFS) 分割されたデータ をMap、Reduceと いう単位で並列分 散処理 MapReduce
- 22. トレンド：リアルタイム処理 ?? ビジネス側からの要件 –?より早い変化の検知、決断、情報の提供 –?業務処理と分析処理は統合へ ?? データフロー、格納、処理それぞれに新しい アーキテクチャが必要 ?? 処理の2つのアプローチ –?バッチを極限まで細かくしていく（マイクロバッチ） –?メッセージを1つ1つ処理していく
- 24. ラムダアーキテクチャ ?? バッチ処理（Data at Rest）とリアルタイムストリー ム処理（Streaming Data）は組み合わせることで 価値が出る –? 近似的な速報値をリアルタイム処理で得る –? 正確な集計や深い分析は履歴データを利用しバッチ 処理で得る ?? データを入口で複製し、用途に応じた最適な フォーマットで格納する –? 例: 時間レンジの検索ならHBase、履歴集計なら Parquet
- 26. ラムダアーキテクチャ 収集 抽出 変換 加工 格納 集計 加工 モデル作成 可視化 格納 抽出 変換 加工 集計 加工 モデル作成 バッチレイヤー スピードレイヤー Kaka HDFS
- 27. 分析のタイプ ?? バッチ分析 –?蓄積された大量データから知見を得る ?? リアルタイム分析 –?流れてくるデータを対象にとりあえずの解を得る ?? インタラクティブ分析 –?よくわからないものから鍵を見つけ方針を決める
- 28. Apache Arrow ?? カラム型インメモリ分析のデファクト標準を目 指す Apache プロジェクト ?? 多くのビッグデータ系Apacheプロジェクトで共 通のデータ構造を使うといいよね？ ?? データ構造、アルゴリズム、クロス言語バイン ディングを定義 ?? 最新のCPUの機能を活用した高速な分析
- 29. これは非効率性だわ??? ?? 各システムは独自の内部メモリ 形式を持つ ?? 70?80%のCPUはシリアライズ? デシリアライズに使われる ?? 似たような機能が複数のプロジェ クトで実装される Thrin, Avro, Protobuf,…
- 30. ?? すべてのシステムは共通のメモリ 形式を持つ ?? システム間のやりとりにオーバー ヘッドがない ?? プロジェクト間で機能を共有できる (例: Parquet-to-Arrow リーダー) ならばこうだ
- 34. ありがとうございました