端端舝

DynamoDB毛瞳蚚仄凶
KPI悵湔扑旦氾丞
弘伉奈絁宒頗扦?墿嗷捶惸眳
2016/01/25 VisualizationNight#1

掛゜及囀⺍
? 赻撩畿賡
? 弘伉奈囀庨及褫�趙扑旦氾丞
? 嗨聆紳硃鳥棗嗨詁毛瞳蚚仄凶鬼捩梆悵湔扑旦氾丞
2

赻撩畿賡
? 犯奈正巨件斥瓦失伉件弘民奈丞
? Hadoop卅升及煦昴價屜及綅蚚
? 汁奈伙及嶱逃ㄛ瞳蚚氪及扔禾奈玄
? 郔輪匹反左件皿伊分仃匹卅仁AWS手瞳蚚
? KinesisㄛEMR及𨈘偩毛允月丟件田奈手
3

弘伉奈囀庨及褫�趙扑旦氾丞
4
蛁) 仇木井日堤化仁月�反扔件皿伙犯奈正匹允

褫�趙扑旦氾丞
? NativeGame KPI伊禾奈玄
? 𢜪戶日木凶杅�硌㻢及心桶尨
? 皿伕母弁玄嶲及掀廌互⺍眢
? 交奈扒奈氾平旦玄母永扑亙示奈玉
? 氾平旦玄�笊卞杻趙仄凶扑旦氾丞
? 交奈扒奈及失件弗奈玄ㄛ�中磁歹六卅升互�木月
? BI汁奈伙(Macaron)
? 皿伕母弁玄綅�氪互赻蚕卞杅�硌㻢毛釬傖匹五月
? 旦弗斥亙奈伉件弘及辻夔毛�尹月
5
(珨窒及扑旦氾丞及畿賡匹允)

NativeGame KPI伊禾奈玄
Rails + RDS(MySQL) + TD or Hadoop
7
Apache?, Apache Hadoop, Hadoop?(http://hadoop.apache.org/), and the yellow elephant logo are either registered trademarks or
trademarks of the Apache Software Foundation(http://www.apache.org/) in the United States and/or other countries.
Treasure Data Inc.(https://www.treasuredata.com/)

交奈扒奈氾平旦玄母永扑亙示奈玉
8

交奈扒奈氾平旦玄母永扑亙示奈玉
Django + Presto + Hadoop
Django
9

BI汁奈伙(導Macaron)
Rails + HBase or Hive or Presto + Hadoop
11

BI汁奈伙(陔Macaron)
Rails + HBase or Hive or Presto + Hadoop
12
DynamoDB尺ㄐ

仇仇井日及囀⺍
? Macaron及辻夔
? 暫湔旦玄伊奈斥(HBase, OpenTSDB)
? 伉皿伊奶旦及掖劓 / 𨈘�
? 偞� / 灍蚾
13

Macaron及辻夔
? Hive支Presto卞弁巨伉及逃俴允月
? 弁巨伉及磐彆毛媆炵蹈犯奈正矛奈旦卞悵湔
? with 旦弗斥亙奈伉件弘
? 本弘丟件玄黱及弘仿白鏡賒
? 公及坻
14

Macaron及辻夔 / 弁巨伉及逃俴
15

Macaron及辻夔 / 犯奈正及悵湔
隅ヽ灍俴仄凶磐彆毛悵湔允月
16

Macaron及辻夔 / 弘仿白及鏡賒
17

BI汁奈伙(Macaron)
Rails + DynamoDB or Hive or Presto + Hadoop
? HBase(OpenTSDB)井日DynamoDB尺
18

公手公手OpenTSDB勻化ˋ
? HBase毛旦玄伊奈斥午仄凶媆炵蹈犯奈正矛奈旦
? 左奈皿件末奈旦
? RRDTool及方丹卞�毛侳戶卅中
? 扑旦氾丞及丟玄伉弁旦卅升湮�耀犯奈正互腕砩
? 譙Yahoo!匹反15怢及扔奈田奈匹黱鏃28勀璃及Write
毛今壬仁
? http://www.slideshare.net/HBaseCon/ecosystem-session-6/6
19

OpenTSDB及丟正犯奈正
? DataPoints
(time, value)
? Metrics
犯田奶旦�eDAU
? Tags
device=fp, device=sp
? Metrics + Tags = TimeSeries
20ref. OpenTSDB HBaseCon http://opentsdb.net/misc/opentsdb-hbasecon.pdf

伉皿伊奶旦仄凶掖劓
? 扔奈田奈及痄偞及斛猁互丐勻凶
? HBase弁仿旦正毛婬�慷ˋ
? 陔仄仁釬曰眻允ˋ
? ヽ嶲反7堎藺 ~ 10堎
? 𢜪戶日木凶ヽ癹ㄛА戶日木月愐蚚祅𦑩
21

伉皿伊奶旦仄凶掖劓
? 政袨及扑旦氾丞互詢辻夔允亢月
? 鏡賒辻夔ㄛ摩�憝杅卅升反瞳蚚仄化中卅中
? HBase匹厥勾幻升及犯奈正�耀匹反卅中
? 屾仄市旦正穴奶朮允月斛猁互丐勻凶
? ゜掛惤卞�𡛟今六月凶戶卞由永民毛絞化凶
? 丟玄伉永弁及紱釬互砩俋午醱給
22

AWS毛ゴ枑午仄凶伉皿伊奶旦偶
? HBase on EMR
? 都媆歐�P今六化云仁午戊旦玄互詢中
? In?uxDB on EC2
? 𨈘偩ヽ嶲互午木內綅蚚醱匹陓螸仄五木卅井勻凶
? MySQL(RDS)
? 灍�互丐曰ㄛ�僇手軑砑匹五月
? DynamoDB
? �仄仁卅中互ㄛ犯奈正反末奈玄匹五月日仄中
23

DynamoDB卞憝允月捼𦷰
? 旦伙奈皿永玄掝踢匹丐月
? 珨僅卞湮五卅犯奈正毛龰腕ㄛ悵湔反賴忒
? 氾奈皮伙仍午卞掝踢今木月
? 10G仍午卞由奈氾奴扑亦件互煦賃今木月
? 悵湔反假中互旦伙奈皿永玄互煦汃允月
24

丐木﹜砃中化卅中＃ˋ
25

Unit秏愐卞勾中化捼𦷰允月
? GemItem, BatchGetItem
? 升氏卅卞苤今中record匹手ㄛ1 record = 1 unit
? 1゜1record分午允月午ㄛ3爛煦龰腕匹1095unit
? Query, Scan
? 濛�扔奶朮毛妏蚚仄化旦伙奈皿永玄毛�呾
? 1record = 1unit匹反卅中
? 1record互1KB午允月午ㄛ3爛煦龰腕匹273unit
26

Unit秏愐卞勾中化捼𦷰允月
? GemItem, BatchGetItem
? 升氏卅卞苤今中record匹手ㄛ1 record = 1 unit
? 1゜1record分午允月午ㄛ3爛煦龰腕匹1095unit
? Query, Scan
? 濛�扔奶朮毛妏蚚仄化旦伙奈皿永玄毛�呾
? 1record = 1unit匹反卅中
? 1record互1KB午允月午ㄛ3爛煦龰腕匹273unit
27
犯奈正龰腕反Query卅及匹假陑

交奈旦弗奈旦毛復庲允月
? 1矢奈斥卞中仁勾井及KPI硌㻢毛饜离
? ヽ嶲反嘐隅ㄛdaily卅日壬90゜最僅
? 硌㻢及載陔螿僅反詢仁卅中
? 仄井仄ㄛ綎�煦毛1僅卞⻌木月仇午反丐月
? 媆嶲繧卞方勻化�月�卅中互反勻五曰允月
? 珗嶲支芩゜反幻午氏升�日木卅中
28

馱痲允月豻華互丐曰公丹＃ㄐ
29

旦伙奈皿永玄毛狟仆月龰曰瞎心
? 掂心煋心旦伙奈皿永玄及祅𦑩
? 嘐隅今木凶ヽ嶲及犯奈正反平乓永扑亙尺
? 媆嶲繧卞磁歹六凶�腔旦伙奈皿永玄劐載
? 𤩸五煋心旦伙奈皿永玄及祅𦑩
? 摹卅𤩸五煋心�卞�尹平亙奈毛瞳蚚
30

平乓永扑亙毛魂蚚允月
? ElastiCache(Redis)毛魂蚚允月
? 眻輪及犯奈正(ex. 90゜)毛平乓扑亙允月
? 價掛腔卞綎�及囥習毛淥曰殿月�磁及心
DynamoDB卞失弁本旦互中仁
? ElastiCache反假中及匹云腕
? 眻輪及犯奈正及心卅日t2.micro匹手褫
31

平亙奈毛魂蚚允月
? SQS毛瞳蚚允月
? 𤩸五煋心互�尹化囮㷍仄化手伉玄仿奶匹五月
? 腴中旦伙奈皿永玄毛硌隅仄化手犯奈正及伕旦玄
毛滅什仇午互匹五月
? �僇反幻廿剠蹋
32

旦伙奈皿永玄毛劐�今六月
33
SumoLogic匹褫�趙仄凶失弁本旦杅 (珨窒)
隴日井卞珗嶲卞失弁本旦互卅仁手勻凶中卅中ㄐ

瞰) 旦伙奈皿永玄毛劐�今六月
珨隅卞悵勻凶�磁
皺゜(read: 1000)
? 0.00742 * 24 * 30 * 1000 / 50 = $107
掂心煋心旦伙奈皿永玄毛劐�今六凶�磁
ⅸ゜&゜笢(read: 1000)ㄛ珗嶲or芩゜(read: 500)
? 0.00742 * 24 * 22 * (1000+500) / 2 / 50 = $59
? 0.00742 * 24 * 8 * 500 / 50 = $14
? $59 + $14 = $73
34
仇及瞰匹反ㄛ旦伙奈皿永玄及劐�匹32%左白卞ㄐ

DynamoDB匹中仃月及匹反＃
35

灍蚾
? Scalaㄛ白伊奈丞伐奈弁反Spray毛瞳蚚
? AWS及Client反Java互珨楓喃灍仄化中月
? AWS伕永弁奶件今木化手伕奈市伙匹嶱逃褫夔
? DynamoDB ↙ DynamoDBLocal
? SQS ↙ ElasticMQ
37

綅蚚
? cron匹旦伙奈皿永玄毛劐載
? 陳9媆 ~ 珗9媆匹旦伙奈皿永玄毛丐仆月
? 伕弘反SumoLogic匹奪燴仄化失弁本旦杅及復庲
? 犯皿伕奶反CodeDeploy匹
? 午五升五agent及皿伕本旦互down允月＃!!
38

引午戶
? 弘伉奈及褫�趙扑旦氾丞卞勾中化畿賡仄凶
? 砢賃卞方勻化公木冗木湔婓允月
? HBase(OpenTSDB)井日DynamoDB尺
? 旦伙奈皿永玄及劐�匹�僇毛眚尹月
? ElastiCache支SQS手戊旦玄母它件卞�瓬
39

端端舝

嗨聆紳硃鳥棗嗨詁毛瞳蚚仄凶鬼捩梆悵湔扑旦氾丞

Recommended

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to 嗨聆紳硃鳥棗嗨詁毛瞳蚚仄凶鬼捩梆悵湔扑旦氾丞 (20)

More from gree_tech (20)

Recently uploaded (8)

嗨聆紳硃鳥棗嗨詁毛瞳蚚仄凶鬼捩梆悵湔扑旦氾丞