ヒ?ック?テ?ータエコシステムとテ?ータサイエンスのススメ
?
2 likes?878 views
Bigdata, Data science, Hadoop, HBase, mongoDB, Hive, Drill, Impala, R, D3, Lambda Architecture, Data Stream Management System, CEP, fluentd, logstash, flume, Norikra, Esper, Strom, Spark, ElasticSearch, Kibana
ヒ?ック?テ?ータエコシステムとテ?ータサイエンスのススメ
- 1. Presented by Yuki Asano on June 25, 2014
- 3. “I keep saying that the sexy job in the next 10 years will be statisticians. And I’m not kidding.” Chief Economist Hal Varian（Google）
- 4. Harvard Business Review Magazine Data Scientist: The Sexiest Job of the 21st Century ? by Thomas H. Davenport and D.J. Patil.
- 6. SEXY で 最強
- 7. Data Science
- 10. まずはここから
- 12. ? Data Mining ? Analyze ? Optimize Data Science で、ビジネスにコミット!
- 13. ? Data Mining ? Analytics ? Marketing Data Science With Big Data
- 14. Big Data!! ? Data is King!! ? many OSS technologies ? Decision Making Support ? Peak of In?ated Expectation at Hype Cycle
- 17. State of Big Data ? 市場に技術者がまだまだ不足 ? 旧弊的な考え、文化的な問題 ? データ指向ソフトウェア管理の定着 の難しさ
- 18. DIKW Pyramid KNOWLEDGE INFORMATION DATA WISDOM 知識からある法則を見出したもの 情報が分析され体系化されたもの データが整理されたもの 個々に独立した要素
- 20. Big Data?? ? 母集団が多く多種特性のデータに対して効 果が認められている ? 有用な情報を見つけ出せる技術だが、見つ からないかもしれない ? 何ができるか明確でない、ビジネスにコミッ トする量を計ることが難しい ? 社内にあるデータがビッグじゃない
- 24. Objectives ? Real-time Activity Monitor ? Improve Application Quality ? Analytic Data Supply
- 25. Objectives Real-time Monitor Improve Application Analytic Data Supply ?異常検知 ?即時対応 ?業務精度向上 ?アドバンストログ ?顧客動向統計データ ?ステータス傾向認知 ?ユーザーアクション傾 向認知
- 26. Big Data を支える技術
- 31. Hadoop Ecosystem Framework Data Storage Query / Data ?ow Realtime ? MapRed v1 ? YARN ? Apache Spark ? HDFS ? HBase ? Cassandra ? Amazon S3 ? mongoDB ? Hive ? Pig ? Impala ? Drill ? Presto ? Stinger ? Apache Storm ? Apache Spark ? Esper ? Norikra
- 32. Hadoop Ecosystem HDFS YARN HBase PigHive Monitoring / BI Tools / Data Analytics Spark Storm Map Reduce Script DataQuality
- 34. Hadoop is … ? OSS (Apache License 2.0) ? Map Reduce (v1/v2 on YARN) ? Hadoop Distributed File System (HDFS)
- 35. Hadoop Cluster Master Namenode Slave Slave Slave Slave JobTracker Datanode TaskTracker ? Random mapping ? Slave control HDFS MapReducePhysical ? Storage manage ? I/O stream ? Task schedule manage ? Task monitor ? Execute task ? Map and Reduce
- 36. Database
- 38. Database Analytic Big Tables (Columnar) Key-Value Document NewSQL RDBMS Non-Rel Relational Non-Rel Relational Hadoop HBase Redis mongoDB Amazon RDB MySQL DB2 HyperTable Couchbase MySQL Cluster Oracle Sybase Cassandra Lotus Notes SQL Azure PostgreSQL One size does not ?t all
- 39. Database Analytic Big Tables (Columnar) Key-Value Document NewSQL RDBMS Non-Rel Relational Non-Rel Relational Hadoop HBase Redis mongoDB Amazon RDB MySQL DB2 HyperTable Couchbase MySQL Cluster Oracle Sybase Cassandra Lotus Notes SQL Azure PostgreSQL One size does not ?t all
- 41. DBMS vs DSMS DBMS DSMS Query Ad Hoc Query Continuous Query Target Stored Data Stream Data App ? Web Application ? Batch Processing ? Operation & Maintenance ? Anomaly Event Detection ? Click Stream ? Sensor Data Software ISO SQL Lucene Esper S4 PL/SQL HiveQL Storm Oracle CQL Impala Pig Spark StreamBase
- 42. Continuous Query Ad Hoc Query SELECT avg_age FROM user WHERE SUBDATE( NOW(), INTERVAL 5 MINUTE ) >= datetime Continuous Query SELECT avg_age FROM user:time_batch(5 mins) Stored Data Result 5min window Complex Event Processing User Stream Data Result
- 43. Data Collect
- 44. ? データを産む ? 収集する ? 最適化?保存する ? 可視化する Data Collect
- 45. ? データを産む ? 収集する ? 最適化?保存する ? 可視化する Data Collect 統合ログ管理にお任せ！！ アプリのログ設計を強く推奨。 使えるものは何でもログに吐く！
- 46. ?uentd ? 多様なデータインプット方法 ? 本体は設定のみ超シンプル設計 ? 有用なプラグイン多数 ? プラグイン開発可能
- 47. View Batch Layer Speed Layer Serving Layer Merge Collect Data ?All raw data store ?Pre-Compute ?Transformed Data ?Batch Transform ?Ad-hoc search ?Realtime Transform ?Continuous Query ?Real-time Increment Compute ?DSMS, CEP ?Query ?Visualize?Data From Apps Lambda Architecture
- 48. View Batch Layer Speed Layer Lambda Architecture Serving Layer Collect Data Merge
- 50. Demo
- 51. Question
- 52. Thank you