20100916冲贰惭搁を使ったシステム构筑案件
6 likes1,215 views
2010/9/16の贬补诲辞辞辫ソースコードリーディング第5回＠楽天タワーの発表资料です。
20100916冲贰惭搁を使ったシステム构筑案件
- 4. 贰惭搁选定までの道のり
- 6. ○ 世の中に溢れるほど情報がある！ ○ 弊社でも構築事例多数 → 工数見積はブレにくい
- 7. ○ 世の中に溢れるほど情報がある！ ○ 弊社でも構築事例多数 → 工数見積はブレにくい × 粘着質なパーティショニングをしたとしても 億単位のレコードは到底無理 × パフォーマンスも期待できない??? × Oracleに買収されてからの動きが怪しい
- 9. ○ 大量データ処理に強い ○ 国内事例も増えてきている × 社内で実装に関連したノウハウが不足 × スモールスタートには向かない?
- 10. Elastic MapReduce removes hard work from Big Data processing !!! AWS ソリューションアーキテクト Paul Horvath氏
- 11. ○ 大量データ処理に強い ○ 環境構築の工数を大幅削減(数クリックで起動) ○ スモールスタートに向いている
- 12. ○ 大量データ処理に強い ○ 環境構築の工数を大幅削減(数クリックで起動) ○ スモールスタートに向いている
- 13. ○ 大量データ処理に強い ○ 環境構築の工数を大幅削減(数クリックで起動) ○ スモールスタートに向いている × 国内構築事例がまだほとんどない (受託型のシステム構築案件としてはリスク大) × どれだけパフォーマンスが出るか未知数 →複雑な抽出中心のシステムなので HiveでEMRを検証してみることに
- 15. EMRインスタンス数 - HiveQL処理時間 EMRインスタンス数 HiveQL処理処理時間 (HDFS?データは1 2000万件固定) (HDFS?データは1億2000万件固定) ?データは 万件固定 12,000 10,000 8,000 2インスタンス(HDFS) 秒 6,000 4インスタンス(HDFS) 4,000 8インスタンス(HDFS) 2,000 0 LOAD SELECT1 SELECT2 SELECT3 SELECT4 SELECT5 SELECT6 SELECT7 発行Hive-QL番号 発行Hive-QL番号 Hive
- 16. HiveQL処理時間 HDFS? インスタンス固定) 処理時間( レコード件数 - HiveQL処理時間(HDFS?8インスタンス固定) 7,000 6,000 5,000 4,000 秒 1億2000万件(HDFS) 3,000 7億5000万件(HDFS) 2,000 1,000 0 SELECT1 SELECT2 SELECT3 SELECT4 SELECT5 SELECT6 SELECT7 発行Hive-QL番号 発行Hive-QL番号 Hive
- 17. 採用を决める时の重要ポイント
- 19. 在庫 = 使われていないサーバリソース 自社で持つにはコストがかかる???
- 20. 础尘补锄辞苍さんに持ってもらおう US-EAST：smallインスタンス 1時間0.1ドル 1 0.1
- 22. 个人的な感想などなど