狠狠撸

狠狠撸Share a Scribd company logo

【17-C-1】 Big Data を扱うアーキテクチャーの原則

?
?
M
Masayoshi Hagiwara
1 of 13
Developers Summit 2011
(C) 2011 Microsoft Corporation 2
Web サーバ ビジネスロジック ロードバランサ RDB サーバ (C) 2011 Microsoft Corporation 3
http://www.perfdynamics.com/Manifesto/USLscalability.html (C) 2011 Microsoft Corporation 4
(C) 2011 Microsoft Corporation 5
(C) 2011 Microsoft Corporation 6
マスター データ 参照系 参照 データ ＡＰ１ トランザクション バッチ処理や ＡＰ２ データ 非同期処理 更新系 ＡＰ３ トランザクション ＡＰ： データベースの ＡＰ４ データ アプリケーション 挿入 （SOA のサービス） (C) 2011 Microsoft Corporation 7
リアルタイムの操作が実行され システムの実運用に必要となる 新たな情報が生成される部分 情報の事前準備の部分 非定型プロセス ロング ACID 漸次変更処理 バッチ処理 トランザクション トランザクション フロー フロー、ストック ストック ストック ストック RDB、KVS、カラム指 KVS、カラム 向（参照）、分散キャッ OLAP、グラフ ドキュメント SOA 指向、 シュ、ストリーム データ MapReduce 新たな発展が見られる分野 (C) 2011 Microsoft Corporation 8
更新系 （OLTP） キュー 画面 サービス 行指向 （サービス） Command データ更新の伝播 参照系 （分析） キュー 画面 サービス 列指向 （サービス） Query Web フロントエンド ロジック、バックエンド レイテンシー スループット (C) 2011 Microsoft Corporation 9
构造 振る舞い （アーキテクチャ―スタイル） （アルゴリズム） アルゴリズム戦略 実装戦略 並列実行機構 www.upcrc.illinois.edu (C) 2011 Microsoft Corporation 10
(C) 2011 Microsoft Corporation 11
データ分割による竞合防止 メモリ上の効率利用 分類→分割→配置→集約 index データ构造アクセス ホットスポットの回避 遅延永続化 データ偏在の解決 転送効率化 Co-location、転送プロトコル 簡易検査、圧縮などデータ量の削減 負荷分散 非同期による時間差 並列可能箇所の並列実行 時間順序保証の上 (C) 2011 Microsoft Corporation 12
(C) 2011 Microsoft Corporation 13

More Related Content

【17-C-1】 Big Data を扱うアーキテクチャーの原則

  • 2. (C) 2011 Microsoft Corporation 2
  • 3. Web サーバ ビジネスロジック ロードバランサ RDB サーバ (C) 2011 Microsoft Corporation 3
  • 5. (C) 2011 Microsoft Corporation 5
  • 6. (C) 2011 Microsoft Corporation 6
  • 7. マスター データ 参照系 参照 データ ＡＰ１ トランザクション バッチ処理や ＡＰ２ データ 非同期処理 更新系 ＡＰ３ トランザクション ＡＰ： データベースの ＡＰ４ データ アプリケーション 挿入 （SOA のサービス） (C) 2011 Microsoft Corporation 7
  • 8. リアルタイムの操作が実行され システムの実運用に必要となる 新たな情報が生成される部分 情報の事前準備の部分 非定型プロセス ロング ACID 漸次変更処理 バッチ処理 トランザクション トランザクション フロー フロー、ストック ストック ストック ストック RDB、KVS、カラム指 KVS、カラム 向（参照）、分散キャッ OLAP、グラフ ドキュメント SOA 指向、 シュ、ストリーム データ MapReduce 新たな発展が見られる分野 (C) 2011 Microsoft Corporation 8
  • 9. 更新系 （OLTP） キュー 画面 サービス 行指向 （サービス） Command データ更新の伝播 参照系 （分析） キュー 画面 サービス 列指向 （サービス） Query Web フロントエンド ロジック、バックエンド レイテンシー スループット (C) 2011 Microsoft Corporation 9
  • 10. 构造 振る舞い （アーキテクチャ―スタイル） （アルゴリズム） アルゴリズム戦略 実装戦略 並列実行機構 www.upcrc.illinois.edu (C) 2011 Microsoft Corporation 10
  • 11. (C) 2011 Microsoft Corporation 11
  • 12. データ分割による竞合防止 メモリ上の効率利用 分類→分割→配置→集約 index データ构造アクセス ホットスポットの回避 遅延永続化 データ偏在の解決 転送効率化 Co-location、転送プロトコル 簡易検査、圧縮などデータ量の削減 負荷分散 非同期による時間差 並列可能箇所の並列実行 時間順序保証の上 (C) 2011 Microsoft Corporation 12
  • 13. (C) 2011 Microsoft Corporation 13