際際滷

際際滷Share a Scribd company logo
BigData inside
亳亠从仆亠 亳亰从舒仆亳 于 HBase
仆舒仂仍亳亶 亳从仍亳仆
BigData
 丐亠仆仂仍仂亞亳亳 仗仂亰于仂仍ム亳亠 仂弍舒弍仂舒 舒从亳亠 仂弍亠仄 亟舒仆仆, 从仂仂亠 舒仆亠亠 亳舒仍亳
仆亠亟仂亳亢亳仄仄亳. 舒仆仆 舒从 仄仆仂亞仂, 亳 从仂仂 亳 仂弍舒弍仂从亳 仆舒仂仍从仂 于亠仍亳从舒, 仂
仆亠仂弍仂亟亳仄 仂于亠亠仆仆仂 亟亞仂亶 仗仂亟仂亟, 从 仂弍舒弍仂从亠 舒从亳 亟舒仆仆.
 弌仂仆亳 仄亳仍仍亳仂仆仂于 亳 仄亳仍仍亳舒亟 亰舒仗亳亠亶
 亠舒弍舒亶 亟舒仆仆
 舒仗亠亟亠仍亠仆仆舒 舒亳亠从舒
 Volume, Velocity, Variety (3V)
弍亠仄
弌从仂仂
舒亰仆仂仂弍舒亰亳亠
仗亠亠亟 从 亠从仂亟舒仄:
1 丐舒亶 弍仍 仂弍舒弍仂舒仆 亰舒 209 亠从. 仆舒 Hadoop 从仍舒亠亠 亳亰 910 亰仍仂于
 舒仗亠仍亠 2008 亞仂亟舒
HBase
舒仗亠亟亠仍亠仆仆舒, Column Oriented 弍舒亰舒 亟舒仆仆.
 从舒亠于亠 舒仆亳仍亳舒, 亳仗仂仍亰亠 HDFS, 仗仂仂仄 亳亰亳亠从亳
舒仗仂仍仂亞舒亠 仆舒 Hadoop 从仍舒亠亠. 仂亰于仂仍磳 舒仆亳 亟舒仆仆亠 于 仗仂磲仂亠仆仆仂仄,
仂仂亳仂于舒仆仆仂仄 于亳亟亠
仂亰仄仂亢仆仂亳:
 Random access, 从 仍ミ頴笑 亰舒仗亳亳 亰舒 O(1)
  从舒亠于亠 于弍仂仂从 仄仂亢仆仂 亳仗仂仍亰仂于舒 舒亰仍亳仆亠 于舒亳舒仆 Scan + 亳仍
 仂亟亟亠亢从舒 于亠亳仂仆仆仂亳 亟舒仆仆
 Schemaless. 亠 亟舒仆仆亠 舒仆 从舒从 仄舒亳于 弍舒亶*
 丿亳仂从亳亠 于仂亰仄仂亢仆仂亳 舒亞亠亞舒亳亳 (于 仂仄 亳仍亠 JOIN), 亰舒 亠 亠亶仄于仂从舒 Hadoop MapReduce
 亠仗仍亳从舒亳
 丿舒亟亳仆亞
 于亳亠 Single point of failure, 仆舒亳仆舒  于亠亳亳 0.92
 Write ones read more. 亠 于仂亰仄仂亢仆, 仄仂亟亳亳从舒亳亳 亟舒仆仆 (从仍舒亳亠从亳亶 Update)
Table: UsersTable
INFO HISTORY
Table: UsersTable 3D
丕 从舒亢亟仂亶 亠亶从亳, 于仂亶 仆亠亰舒于亳亳仄亶 仂
亟亞亳 仆舒弍仂 于亠亳亶
... 仂仍从仂  弍仂从
个亳亰亳亠从亳, 仂弍亠从 从舒亢亟仂亶 ColumnFamily 舒仆 于 仂亟亠仍仆仂仄 弍亳仆舒仆仂仄 舒亶仍亠.
Chain
Chain + Chain = Region
Region + Region = RegionServer
Read
Write
亳亟 于亠
HBase inside
HBase inside
舒亰舒仍仂 弍, 仗亳 仄 亰亟亠
Zookeeper ?
丱仂亟仂从亳  亠仆亳仆舒
仍亠,从仂仆亳亠亞仂仆亠仗仂仆磿
Master Server (MS)
亅仂 亟亠仄仂仆, 仂于亠于亠仆仆亶 亰舒 亠仂亞舒仆亳亰舒亳 (split) 亠亞亳仂仆仂于 亳 仄仂仆亳仂亳仆亞 于亠
RegionServer 于 从仍舒亠亠. 丐舒从 亢亠 仂仆 磦仍磳 于仂亟仆仂亶 仂从仂亶, 亟仍 亳亰仄亠仆亠仆亳 于亠
仄亠舒亟舒仆仆. 弍仆仂, MS 亳亰亳亠从亳 舒仗仂仍仂亞舒亠 舒仄 亢亠 亞亟亠 亳 NameNode
Single point of failure
丼仂 弍亟亠, 亠仍亳 仂于舒仍亳 Master ?
 于亳亟 仂亞仂, 仂 从仍亳亠仆 仂弍舒ム 仆舒仗礆  SegionServer, 亳亠仄舒 仗仂亟仂仍亢亳
仆从亳仂仆亳仂于舒. 丐舒从仂亶 亠亢亳仄 仆舒亰于舒亠 "steady state" (仂亶亳于仂亠 仂仂礌亳亠), 仆仂
亠亞亳仂仆 仗亳 仂仄 仆亠 仄仂亞 舒亰亟亠仍 (split), 亳 仆亠 仗仂仍亳 亳亰仄亠仆 仄亠舒亟舒仆仆亠
Multi-Master
 于仂亰仄仂亢仆仂 仆舒仂亳 亠亢亳仄 multi-master. 弌仂亰亟舒 仆亠从仂仍从仂 仄舒亠仂于,
仍亠亟仂于舒亠仍仆仂 仗亳 仗舒亟亠仆亳亳 仂亟仆仂亞仂, 仗舒于仍亠仆亳亠 仗亠亠仂亟亳 从 亟亞仂仄
LoadBalancer
亠亠仂亟亳亠从亳, 于从仍ム舒亠 于 舒弍仂 弍舒仍舒仆亳仂于亳从 仆舒亞亰从亳, 从仂仂亶 仗亠亠舒仗亠亟亠仍磳
亠亞亳仂仆, 亟仍 仍亠亞仂 弍舒仍舒仆舒 从仍舒亠舒
仂仗仂 从仂仂亠 仆亠 亟舒ム 仗仂从仂
 亠 舒于仆仂仄亠仆仂亠 舒仗亠亟亠仍亠仆亳亠 从仍ム亠亶 (rowKey) 仗亳于亠亟亠 从 亳亰仍亳仆亠亶 仆舒亞亰从亠 仆舒
仂亟仆 仆仂亟, 亳 idle 于亠 仂舒仍仆 ? (hash - 仆舒亠 于*)
 舒从仂亠 仄舒从亳仄舒仍仆仂亠 从仂仍亳亠于仂 从仂仍仂仆仂从 (Column Qualifier) 仄仂亢仆仂 仂亰亟舒于舒 ?
 丼仂 仍亠 1 row 亳 1 000 000 从仂仍仂仆仂从, 亳仍亳
1 000 000 rows  仂亟仆仂亶 从仂仍仂仆从仂亶 ?
 舒从仂亠 仄舒从亳仄舒仍仆仂 从仂仍亳亠于仂 Column Family 仄仂亢亠 弍 ?
 HBase vs Cassandra ?
亠 于仂仗仂 ?
A vendor-independent comparison of NoSQL databases: Cassandra, HBase, MongoDB, Riak
http://www.networkworld.com/cgi-bin/mailto/x.cgi?pagetosend=/news/tech/2012/102212-nosql-263595.
html&pagename=/news/tech/2012/102212-nosql-263595.html&pageurl=http://www.networkworld.
com/news/tech/2012/102212-nosql-263595.html&site=printpage&nsdr=n
仍亠从仂仗仂舒: 2anikulin at gmail.com

More Related Content

HBase inside

  • 1. BigData inside 亳亠从仆亠 亳亰从舒仆亳 于 HBase 仆舒仂仍亳亶 亳从仍亳仆
  • 2. BigData 丐亠仆仂仍仂亞亳亳 仗仂亰于仂仍ム亳亠 仂弍舒弍仂舒 舒从亳亠 仂弍亠仄 亟舒仆仆, 从仂仂亠 舒仆亠亠 亳舒仍亳 仆亠亟仂亳亢亳仄仄亳. 舒仆仆 舒从 仄仆仂亞仂, 亳 从仂仂 亳 仂弍舒弍仂从亳 仆舒仂仍从仂 于亠仍亳从舒, 仂 仆亠仂弍仂亟亳仄 仂于亠亠仆仆仂 亟亞仂亶 仗仂亟仂亟, 从 仂弍舒弍仂从亠 舒从亳 亟舒仆仆. 弌仂仆亳 仄亳仍仍亳仂仆仂于 亳 仄亳仍仍亳舒亟 亰舒仗亳亠亶 亠舒弍舒亶 亟舒仆仆 舒仗亠亟亠仍亠仆仆舒 舒亳亠从舒 Volume, Velocity, Variety (3V) 弍亠仄 弌从仂仂 舒亰仆仂仂弍舒亰亳亠 仗亠亠亟 从 亠从仂亟舒仄: 1 丐舒亶 弍仍 仂弍舒弍仂舒仆 亰舒 209 亠从. 仆舒 Hadoop 从仍舒亠亠 亳亰 910 亰仍仂于 舒仗亠仍亠 2008 亞仂亟舒
  • 3. HBase 舒仗亠亟亠仍亠仆仆舒, Column Oriented 弍舒亰舒 亟舒仆仆. 从舒亠于亠 舒仆亳仍亳舒, 亳仗仂仍亰亠 HDFS, 仗仂仂仄 亳亰亳亠从亳 舒仗仂仍仂亞舒亠 仆舒 Hadoop 从仍舒亠亠. 仂亰于仂仍磳 舒仆亳 亟舒仆仆亠 于 仗仂磲仂亠仆仆仂仄, 仂仂亳仂于舒仆仆仂仄 于亳亟亠 仂亰仄仂亢仆仂亳: Random access, 从 仍ミ頴笑 亰舒仗亳亳 亰舒 O(1) 从舒亠于亠 于弍仂仂从 仄仂亢仆仂 亳仗仂仍亰仂于舒 舒亰仍亳仆亠 于舒亳舒仆 Scan + 亳仍 仂亟亟亠亢从舒 于亠亳仂仆仆仂亳 亟舒仆仆 Schemaless. 亠 亟舒仆仆亠 舒仆 从舒从 仄舒亳于 弍舒亶* 丿亳仂从亳亠 于仂亰仄仂亢仆仂亳 舒亞亠亞舒亳亳 (于 仂仄 亳仍亠 JOIN), 亰舒 亠 亠亶仄于仂从舒 Hadoop MapReduce 亠仗仍亳从舒亳 丿舒亟亳仆亞 于亳亠 Single point of failure, 仆舒亳仆舒 于亠亳亳 0.92 Write ones read more. 亠 于仂亰仄仂亢仆, 仄仂亟亳亳从舒亳亳 亟舒仆仆 (从仍舒亳亠从亳亶 Update)
  • 6. 丕 从舒亢亟仂亶 亠亶从亳, 于仂亶 仆亠亰舒于亳亳仄亶 仂 亟亞亳 仆舒弍仂 于亠亳亶
  • 7. ... 仂仍从仂 弍仂从
  • 8. 个亳亰亳亠从亳, 仂弍亠从 从舒亢亟仂亶 ColumnFamily 舒仆 于 仂亟亠仍仆仂仄 弍亳仆舒仆仂仄 舒亶仍亠.
  • 10. Chain + Chain = Region
  • 11. Region + Region = RegionServer
  • 12. Read
  • 13. Write
  • 17. 舒亰舒仍仂 弍, 仗亳 仄 亰亟亠 Zookeeper ?
  • 20. Master Server (MS) 亅仂 亟亠仄仂仆, 仂于亠于亠仆仆亶 亰舒 亠仂亞舒仆亳亰舒亳 (split) 亠亞亳仂仆仂于 亳 仄仂仆亳仂亳仆亞 于亠 RegionServer 于 从仍舒亠亠. 丐舒从 亢亠 仂仆 磦仍磳 于仂亟仆仂亶 仂从仂亶, 亟仍 亳亰仄亠仆亠仆亳 于亠 仄亠舒亟舒仆仆. 弍仆仂, MS 亳亰亳亠从亳 舒仗仂仍仂亞舒亠 舒仄 亢亠 亞亟亠 亳 NameNode Single point of failure 丼仂 弍亟亠, 亠仍亳 仂于舒仍亳 Master ? 于亳亟 仂亞仂, 仂 从仍亳亠仆 仂弍舒ム 仆舒仗礆 SegionServer, 亳亠仄舒 仗仂亟仂仍亢亳 仆从亳仂仆亳仂于舒. 丐舒从仂亶 亠亢亳仄 仆舒亰于舒亠 "steady state" (仂亶亳于仂亠 仂仂礌亳亠), 仆仂 亠亞亳仂仆 仗亳 仂仄 仆亠 仄仂亞 舒亰亟亠仍 (split), 亳 仆亠 仗仂仍亳 亳亰仄亠仆 仄亠舒亟舒仆仆亠 Multi-Master 于仂亰仄仂亢仆仂 仆舒仂亳 亠亢亳仄 multi-master. 弌仂亰亟舒 仆亠从仂仍从仂 仄舒亠仂于, 仍亠亟仂于舒亠仍仆仂 仗亳 仗舒亟亠仆亳亳 仂亟仆仂亞仂, 仗舒于仍亠仆亳亠 仗亠亠仂亟亳 从 亟亞仂仄 LoadBalancer 亠亠仂亟亳亠从亳, 于从仍ム舒亠 于 舒弍仂 弍舒仍舒仆亳仂于亳从 仆舒亞亰从亳, 从仂仂亶 仗亠亠舒仗亠亟亠仍磳 亠亞亳仂仆, 亟仍 仍亠亞仂 弍舒仍舒仆舒 从仍舒亠舒 仂仗仂 从仂仂亠 仆亠 亟舒ム 仗仂从仂
  • 21. 亠 舒于仆仂仄亠仆仂亠 舒仗亠亟亠仍亠仆亳亠 从仍ム亠亶 (rowKey) 仗亳于亠亟亠 从 亳亰仍亳仆亠亶 仆舒亞亰从亠 仆舒 仂亟仆 仆仂亟, 亳 idle 于亠 仂舒仍仆 ? (hash - 仆舒亠 于*) 舒从仂亠 仄舒从亳仄舒仍仆仂亠 从仂仍亳亠于仂 从仂仍仂仆仂从 (Column Qualifier) 仄仂亢仆仂 仂亰亟舒于舒 ? 丼仂 仍亠 1 row 亳 1 000 000 从仂仍仂仆仂从, 亳仍亳 1 000 000 rows 仂亟仆仂亶 从仂仍仂仆从仂亶 ? 舒从仂亠 仄舒从亳仄舒仍仆仂 从仂仍亳亠于仂 Column Family 仄仂亢亠 弍 ? HBase vs Cassandra ?
  • 22. 亠 于仂仗仂 ? A vendor-independent comparison of NoSQL databases: Cassandra, HBase, MongoDB, Riak http://www.networkworld.com/cgi-bin/mailto/x.cgi?pagetosend=/news/tech/2012/102212-nosql-263595. html&pagename=/news/tech/2012/102212-nosql-263595.html&pageurl=http://www.networkworld. com/news/tech/2012/102212-nosql-263595.html&site=printpage&nsdr=n 仍亠从仂仗仂舒: 2anikulin at gmail.com