際際滷

際際滷Share a Scribd company logo
舒从 Map/Reduce 仗舒 亊仆亟亠从.弌舒亳亳从
Background亰于仆仂亶 仂 仂弍亠仄舒 亟舒仆仆, 亰舒 8 仍亠 仂弍亠仄 亟仆亠于仆 亟舒仆仆 于仂 于 2000 舒亰 2 亟仂 4丐弌从仂仂亳 仗仂亠仂仂于, 亟亳从仂于 亳 亠亳 于仂仍亳 仆亠 弍仂仍亠亠 亠仄 于 10 舒亰亟亳仆于亠仆仆 仗仂仂弍 于亢亳  仍亳仆亠亶仆仂 仄舒舒弍亳仂于舒, 亟仂弍舒于仍 亠于亠舒仂亰仆舒仍亳 仄 仂 仆亠 舒亰
仂亢亟亠仆亳亠  2001 亞仂亟亊仆亟亠从 start-up舒 于亠 1 亠于亠 400, 2 亟舒仆仆 于 亟亠仆4 仗仂亠从舒 亳 3 仂亠舒亠 仂亠 亰舒 亟亠仆 亳舒ム 亰舒 仗仂仍舒舒
亳亠从舒 v.1
亠于亠 舒亞亳仂  亟舒仆仆, 仆仂于亠 仗仂亠从 亳 仂亠亰-亰舒 仗舒亟亠仆亳 弍舒亰 弍于舒亠 仆亠 仗亠于舒亠仄 仗亠亠亳舒 仂亠 于 仂 亢亠 亟亠仆仂仍亠 亳仂亳亳, 从仂仂 仆亠仍亰 亠仂磦仍ム 仗仂亠 从仂仗亳亳  亟仍 仆舒亟亠亢仆仂亳 亳 从仂亠仆亳 舒亠仂于
亳亠从舒 v.2
从亳于仆亶 仂仂 亟舒仆仆 亳 亠弍仂于舒仆亳亶 仗仂亟仂仍亢舒亠仆亢亟亠仆 亳仗仂仍亰仂于舒 NAS 从舒从 舒仆亳仍亳亠 亟仍 , 仗仂磦仍磳 仆仂于仂亠 亰从仂亠 仄亠仂  亠 仄亠亢亟 舒仆亳仍亳亠仄 亳 亠亠仂亟亳仄 仆舒 Oracle RAC
亳亠从舒 v.3
弌舒仂弌亠 仄亠亢亟 NAS 亳  仗仂仂礌仆仂 仗亠亠亞亢亠仆舒丐礀亠仍亠 亰舒仗仂 仂亠仆 仗仍仂仂 亳仗仂仍亰ム 弍仂仍亠 仂亟仆仂亶 仄舒亳仆, 仆仂 于 仂仂礌亳亳 束弍亳損 于亠 从仍舒亠仗仂仍亰亠仄 bonding 亳 亟仂弍舒于仍磳仄 仆仂于亠 亳 亞仂仍仂于 于 RAC, 仆仂 仗亠亟亠仍 亢亠 仂亠仆 弍仍亳亰从仂
亳亠从舒 v.4
弌仄亠仂 亟舒仆仆 仗仂亟仂仍亢亳仍仂仍亳亠 仂亠舒仄 亢亠 仆亠 于舒舒亠 亠仂于, 亳 舒亠 仄仂亢亠 亰舒仆亳仄舒 亟仂 仆亠从仂仍从亳 仂从亠 亠仂于 仆舒 仗亠亠亠 仂亠仂于仂仍仂于 RAC 仗仂仂礌仆仂 亢亟 亟亞 亟亞舒舒舒亳于舒 亢亠 仆亠亠亞仂
舒弍舒
丼仂 舒从仂亠 Map/Reduce?Map/Reduce 仂油亠仆仂仍仂亞亳, 仗仂舒ム舒 仆舒仗亳舒仆亳亠 仗亳仍仂亢亠仆亳亶, 亟仍瓿仗舒舒仍仍亠仍仆仂亶 仂弍舒弍仂从亳 弍仂仍亳 仂弍亠仄仂于 亟舒仆仆 仆舒油从仍舒亠舒仂仂亳 亳亰油仄仆仂亢亠于舒 从仂仄仗ム亠仂于.
丼仂 亠 于 Map/Reduce?亳仆亠亶仆仂亠 仄舒舒弍亳仂于舒仆亳亠 仗仂 仂弍亠仄 亟舒仆仆 亳 从仂仂亳 仂弍舒弍仂从亳丱舒仆亳仍亳亠 仆亠从亳仂于舒仆仆 亟舒仆仆仂仂舒 仄仂亟亠仍亳  map 亳 reduce 亰舒亟舒亳仂亟亟亠亢从舒 仍ミ英 磶从仂于仂亠仆仆舒 仗仂亟亟亠亢从舒 HA
丼亠亞仂 仆亠 于 Map/Reduce?丐亳仗仂于 亟舒仆仆仆亟亠从仂于舒亳亳仂于舒仆亳仂于亠仂从 亠仍仂仆仂亳
Map/Reduce 弌亠仄舒 舒弍仂
丼仂 舒从仂亠 MapReduce?舒仆仆亠弌油仂从亳 亰亠仆亳 仗仂仍亰仂于舒亠仍 亟舒仆仆亠  - 仂 舒弍仍亳.舒亢亟舒  亰舒仗亳 于 舒弍仍亳亠 仂仂亳 亳亰油仗仂仍亠亶 束从仍ム損 (key) 亳油束亰仆舒亠仆亳亠損 (value)丐舒弍仍亳舒 仄仂亢亠 弍 仂仂亳仂于舒仆舒 仗仂油从仍ム, 仆仂 仗仂油仄仂仍舒仆亳 舒弍仍亳 仆亠油仂亳仂于舒仆.仗亠舒亳亳舒亟油亟舒仆仆仄亳 仄仂亢仆仂 仗仂亳亰于仂亟亳 亟于舒油亳仗舒 仂仗亠舒亳亶: map油亳油reduce. 舒亢亟舒 亳亰油仆亳 仗亠仂弍舒亰亠 仂亟仆 亳仍亳油仆亠从仂仍从仂 舒弍仍亳 于油亟亞 舒弍仍亳.Map油于仂亟亳 从油于仗仂仍仆亠仆亳 仗仂仍亰仂于舒亠仍从仂亶 仆从亳亳 map油亟仍 从舒亢亟仂亶 亰舒仗亳亳 于仂亟仆仂亶 舒弍仍亳. 个仆从亳 仗亳仆亳仄舒亠 仆舒油于仂亟 仂亟仆 亰舒仗亳 亳油亞亠仆亠亳亠 仗仂亳亰于仂仍仆仂亠 从仂仍亳亠于仂 于仂亟仆 亰舒仗亳亠亶.Reduce于仗仂仍仆磳 仗仂仍亰仂于舒亠仍从 仆从亳 reduce 亟仍瓿从舒亢亟仂亞仂 仆亳从舒仍仆仂亞仂 从仍ム舒 于仂油于仂亟仆仂亶 舒弍仍亳亠. 个仆从亳 仗亳仆亳仄舒亠 仆舒油于仂亟 从仍ム 亳油亳亠舒仂, 仗仂弍亠亞舒ム亳亶 仗仂油于亠仄 亰舒仗亳礆 油亳仄 从仍ム仂仄. 亅舒油仆从亳 舒从亢亠 仄仂亢亠 亞亠仆亠亳仂于舒 仗仂亳亰于仂仍仆仂亠 从仂仍亳亠于仂 于仂亟仆 亰舒仗亳亠亶.丐舒弍仍亳 仄仂亢仆仂 亟舒仍, 从仂仗亳仂于舒, 仂弍亠亟亳仆 亳油仂亳仂于舒.
仂仂亠 仂亢亟亠仆亳亠仂弍舒于仍磳仄 Map/Reduce 舒仆亳仍亳亠 仍仂亞仂于亠亠仆仂亳仄 于亠 礀亠仍亠 仂亠 于 Map/Reduce舒亰舒 仂仍从仂 亟仍 弍 亰舒仗仂仂于 亳 亰舒仗仂仂于 仗仂 束于弍仂从舒仄損
亳亠从舒 v.5
亠亰ミ斜黍а仂 弍 于亟亠亢舒 仂 亟舒仆仆 仆亠仂弍仂亟亳仄仂 于仆仂亳 仂弍舒弍仂从 亳 舒仆亠仆亳亠 弍仂仍亳 亟舒仆仆 于 Map/Reduce 仂亢亠 仆亢仆舒  亟仍 从仂仆从亠仆仆 仂亠仆 亰舒仗仂仂于, 从亳仂于舒仆仆 亟舒仆仆, 仗仂于亠仂从 亠仍仂仆仂亳仂仂于 仂弍舒弍舒于舒 仗亠舒弍舒亶
仂仗仂

More Related Content

Similar to Death And Resurrection Of Yandex Statistics Pavel Aleshin (20)

Uniting Data JavaOne2013
Uniting Data JavaOne2013Uniting Data JavaOne2013
Uniting Data JavaOne2013
Dmitri Shiryaev
仗亳仄亳亰舒亳 仂亳仄仂 于仍舒亟亠仆亳
仗亳仄亳亰舒亳  仂亳仄仂 于仍舒亟亠仆亳仗亳仄亳亰舒亳  仂亳仄仂 于仍舒亟亠仆亳
仗亳仄亳亰舒亳 仂亳仄仂 于仍舒亟亠仆亳
仆舒舒亳 舒亠仆从仂
舒弍仂舒 Big Data
舒弍仂舒  Big Data 舒弍仂舒  Big Data
舒弍仂舒 Big Data
MATLAB
仂亳 仗亠舒 亊仆亟亠从.仂
仂亳 仗亠舒 亊仆亟亠从.仂仂亳 仗亠舒 亊仆亟亠从.仂
仂亳 仗亠舒 亊仆亟亠从.仂
dev1ant
仆舒从舒 Big data - 仂 亳仂仆亳从仂于 亟仂 弍 于亳亳仆 - 于亠亳 亟仍 弌亳弌
仆舒从舒 Big data - 仂 亳仂仆亳从仂于 亟仂 弍 于亳亳仆 - 于亠亳 亟仍 弌亳弌仆舒从舒 Big data - 仂 亳仂仆亳从仂于 亟仂 弍 于亳亳仆 - 于亠亳 亟仍 弌亳弌
仆舒从舒 Big data - 仂 亳仂仆亳从仂于 亟仂 弍 于亳亳仆 - 于亠亳 亟仍 弌亳弌
Yury Petrov
仂亳 仗亠舒 亊仆亟亠从.仂 PostgreSQL / 仍舒亟亳仄亳 仂仂亟亳仆 (亊仆亟亠从)
仂亳 仗亠舒 亊仆亟亠从.仂  PostgreSQL / 仍舒亟亳仄亳 仂仂亟亳仆 (亊仆亟亠从)仂亳 仗亠舒 亊仆亟亠从.仂  PostgreSQL / 仍舒亟亳仄亳 仂仂亟亳仆 (亊仆亟亠从)
仂亳 仗亠舒 亊仆亟亠从.仂 PostgreSQL / 仍舒亟亳仄亳 仂仂亟亳仆 (亊仆亟亠从)
Ontico
IMS DB vs DB2 for z/OS
IMS DB vs DB2 for z/OSIMS DB vs DB2 for z/OS
IMS DB vs DB2 for z/OS
Gregory Vlasov
舒从 亳舒 亳 舒仆舒仍亳亰亳仂于舒 仂仆亳 亞亳亞舒弍亳 舒亳从舒 于 亠从仆亟, 弌舒仆亳仍舒于 亳从仂仍仂...
舒从 亳舒 亳 舒仆舒仍亳亰亳仂于舒 仂仆亳 亞亳亞舒弍亳 舒亳从舒 于 亠从仆亟, 弌舒仆亳仍舒于 亳从仂仍仂...舒从 亳舒 亳 舒仆舒仍亳亰亳仂于舒 仂仆亳 亞亳亞舒弍亳 舒亳从舒 于 亠从仆亟, 弌舒仆亳仍舒于 亳从仂仍仂...
舒从 亳舒 亳 舒仆舒仍亳亰亳仂于舒 仂仆亳 亞亳亞舒弍亳 舒亳从舒 于 亠从仆亟, 弌舒仆亳仍舒于 亳从仂仍仂...
Ontico
舒从亳从舒 仄亳亞舒亳亳 亠仍亳仂仆仆 弍舒亰 亟舒仆仆 于 从仂亳亠仄 Hadoop
舒从亳从舒 仄亳亞舒亳亳 亠仍亳仂仆仆 弍舒亰 亟舒仆仆 于 从仂亳亠仄 Hadoop舒从亳从舒 仄亳亞舒亳亳 亠仍亳仂仆仆 弍舒亰 亟舒仆仆 于 从仂亳亠仄 Hadoop
舒从亳从舒 仄亳亞舒亳亳 亠仍亳仂仆仆 弍舒亰 亟舒仆仆 于 从仂亳亠仄 Hadoop
Yury Petrov
丕从仂亠仆亳亠 于亠弍-舒仆舒仍亳亳从亳 亳仗仂仍亰仂于舒仆亳亠仄 Column-oriented 弌丕 (于舒仆 于亠礌从仂)
丕从仂亠仆亳亠 于亠弍-舒仆舒仍亳亳从亳  亳仗仂仍亰仂于舒仆亳亠仄 Column-oriented 弌丕 (于舒仆 于亠礌从仂)丕从仂亠仆亳亠 于亠弍-舒仆舒仍亳亳从亳  亳仗仂仍亰仂于舒仆亳亠仄 Column-oriented 弌丕 (于舒仆 于亠礌从仂)
丕从仂亠仆亳亠 于亠弍-舒仆舒仍亳亳从亳 亳仗仂仍亰仂于舒仆亳亠仄 Column-oriented 弌丕 (于舒仆 于亠礌从仂)
Ontico
A仍亠从舒仆亟 舒亶亠于, LifeStreet
A仍亠从舒仆亟 舒亶亠于, LifeStreetA仍亠从舒仆亟 舒亶亠于, LifeStreet
A仍亠从舒仆亟 舒亶亠于, LifeStreet
Ontico
仂亠 仄舒舒弍亳仂于舒仆亳亠 亳亠仄
仂亠 仄舒舒弍亳仂于舒仆亳亠 亳亠仄仂亠 仄舒舒弍亳仂于舒仆亳亠 亳亠仄
仂亠 仄舒舒弍亳仂于舒仆亳亠 亳亠仄
Media Gorod
弌舒亳亳从亳 亟仂 弌舒亳亳从亳. 亅于仂仍ム亳 舒亳亠从 亳亠仄 仆舒 仗亳仄亠亠 亳亠仄 ...
 弌舒亳亳从亳 亟仂 弌舒亳亳从亳. 亅于仂仍ム亳 舒亳亠从 亳亠仄 仆舒 仗亳仄亠亠 亳亠仄 ... 弌舒亳亳从亳 亟仂 弌舒亳亳从亳. 亅于仂仍ム亳 舒亳亠从 亳亠仄 仆舒 仗亳仄亠亠 亳亠仄 ...
弌舒亳亳从亳 亟仂 弌舒亳亳从亳. 亅于仂仍ム亳 舒亳亠从 亳亠仄 仆舒 仗亳仄亠亠 亳亠仄 ...
yaevents
Innodb Scalability And New Features Hl2008 Rus
Innodb Scalability And New Features Hl2008 RusInnodb Scalability And New Features Hl2008 Rus
Innodb Scalability And New Features Hl2008 Rus
Ontico
Top big data architecture patterns by Igor Chub
Top big data architecture patterns  by Igor ChubTop big data architecture patterns  by Igor Chub
Top big data architecture patterns by Igor Chub
.NET User Group Dnipro
亠仂仆亳亟 仍仂亳仆 (Big Data Engineer): 丼乘 PARQUET
亠仂仆亳亟 仍仂亳仆 (Big Data Engineer): 丼乘    PARQUET亠仂仆亳亟 仍仂亳仆 (Big Data Engineer): 丼乘    PARQUET
亠仂仆亳亟 仍仂亳仆 (Big Data Engineer): 丼乘 PARQUET
Provectus
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
BAKOTECH
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
Marina Gryshko
DB2 BLU Explained
DB2 BLU ExplainedDB2 BLU Explained
DB2 BLU Explained
Maxim Zinal
Uniting Data JavaOne2013
Uniting Data JavaOne2013Uniting Data JavaOne2013
Uniting Data JavaOne2013
Dmitri Shiryaev
仗亳仄亳亰舒亳 仂亳仄仂 于仍舒亟亠仆亳
仗亳仄亳亰舒亳  仂亳仄仂 于仍舒亟亠仆亳仗亳仄亳亰舒亳  仂亳仄仂 于仍舒亟亠仆亳
仗亳仄亳亰舒亳 仂亳仄仂 于仍舒亟亠仆亳
仆舒舒亳 舒亠仆从仂
舒弍仂舒 Big Data
舒弍仂舒  Big Data 舒弍仂舒  Big Data
舒弍仂舒 Big Data
MATLAB
仂亳 仗亠舒 亊仆亟亠从.仂
仂亳 仗亠舒 亊仆亟亠从.仂仂亳 仗亠舒 亊仆亟亠从.仂
仂亳 仗亠舒 亊仆亟亠从.仂
dev1ant
仆舒从舒 Big data - 仂 亳仂仆亳从仂于 亟仂 弍 于亳亳仆 - 于亠亳 亟仍 弌亳弌
仆舒从舒 Big data - 仂 亳仂仆亳从仂于 亟仂 弍 于亳亳仆 - 于亠亳 亟仍 弌亳弌仆舒从舒 Big data - 仂 亳仂仆亳从仂于 亟仂 弍 于亳亳仆 - 于亠亳 亟仍 弌亳弌
仆舒从舒 Big data - 仂 亳仂仆亳从仂于 亟仂 弍 于亳亳仆 - 于亠亳 亟仍 弌亳弌
Yury Petrov
仂亳 仗亠舒 亊仆亟亠从.仂 PostgreSQL / 仍舒亟亳仄亳 仂仂亟亳仆 (亊仆亟亠从)
仂亳 仗亠舒 亊仆亟亠从.仂  PostgreSQL / 仍舒亟亳仄亳 仂仂亟亳仆 (亊仆亟亠从)仂亳 仗亠舒 亊仆亟亠从.仂  PostgreSQL / 仍舒亟亳仄亳 仂仂亟亳仆 (亊仆亟亠从)
仂亳 仗亠舒 亊仆亟亠从.仂 PostgreSQL / 仍舒亟亳仄亳 仂仂亟亳仆 (亊仆亟亠从)
Ontico
IMS DB vs DB2 for z/OS
IMS DB vs DB2 for z/OSIMS DB vs DB2 for z/OS
IMS DB vs DB2 for z/OS
Gregory Vlasov
舒从 亳舒 亳 舒仆舒仍亳亰亳仂于舒 仂仆亳 亞亳亞舒弍亳 舒亳从舒 于 亠从仆亟, 弌舒仆亳仍舒于 亳从仂仍仂...
舒从 亳舒 亳 舒仆舒仍亳亰亳仂于舒 仂仆亳 亞亳亞舒弍亳 舒亳从舒 于 亠从仆亟, 弌舒仆亳仍舒于 亳从仂仍仂...舒从 亳舒 亳 舒仆舒仍亳亰亳仂于舒 仂仆亳 亞亳亞舒弍亳 舒亳从舒 于 亠从仆亟, 弌舒仆亳仍舒于 亳从仂仍仂...
舒从 亳舒 亳 舒仆舒仍亳亰亳仂于舒 仂仆亳 亞亳亞舒弍亳 舒亳从舒 于 亠从仆亟, 弌舒仆亳仍舒于 亳从仂仍仂...
Ontico
舒从亳从舒 仄亳亞舒亳亳 亠仍亳仂仆仆 弍舒亰 亟舒仆仆 于 从仂亳亠仄 Hadoop
舒从亳从舒 仄亳亞舒亳亳 亠仍亳仂仆仆 弍舒亰 亟舒仆仆 于 从仂亳亠仄 Hadoop舒从亳从舒 仄亳亞舒亳亳 亠仍亳仂仆仆 弍舒亰 亟舒仆仆 于 从仂亳亠仄 Hadoop
舒从亳从舒 仄亳亞舒亳亳 亠仍亳仂仆仆 弍舒亰 亟舒仆仆 于 从仂亳亠仄 Hadoop
Yury Petrov
丕从仂亠仆亳亠 于亠弍-舒仆舒仍亳亳从亳 亳仗仂仍亰仂于舒仆亳亠仄 Column-oriented 弌丕 (于舒仆 于亠礌从仂)
丕从仂亠仆亳亠 于亠弍-舒仆舒仍亳亳从亳  亳仗仂仍亰仂于舒仆亳亠仄 Column-oriented 弌丕 (于舒仆 于亠礌从仂)丕从仂亠仆亳亠 于亠弍-舒仆舒仍亳亳从亳  亳仗仂仍亰仂于舒仆亳亠仄 Column-oriented 弌丕 (于舒仆 于亠礌从仂)
丕从仂亠仆亳亠 于亠弍-舒仆舒仍亳亳从亳 亳仗仂仍亰仂于舒仆亳亠仄 Column-oriented 弌丕 (于舒仆 于亠礌从仂)
Ontico
A仍亠从舒仆亟 舒亶亠于, LifeStreet
A仍亠从舒仆亟 舒亶亠于, LifeStreetA仍亠从舒仆亟 舒亶亠于, LifeStreet
A仍亠从舒仆亟 舒亶亠于, LifeStreet
Ontico
仂亠 仄舒舒弍亳仂于舒仆亳亠 亳亠仄
仂亠 仄舒舒弍亳仂于舒仆亳亠 亳亠仄仂亠 仄舒舒弍亳仂于舒仆亳亠 亳亠仄
仂亠 仄舒舒弍亳仂于舒仆亳亠 亳亠仄
Media Gorod
弌舒亳亳从亳 亟仂 弌舒亳亳从亳. 亅于仂仍ム亳 舒亳亠从 亳亠仄 仆舒 仗亳仄亠亠 亳亠仄 ...
 弌舒亳亳从亳 亟仂 弌舒亳亳从亳. 亅于仂仍ム亳 舒亳亠从 亳亠仄 仆舒 仗亳仄亠亠 亳亠仄 ... 弌舒亳亳从亳 亟仂 弌舒亳亳从亳. 亅于仂仍ム亳 舒亳亠从 亳亠仄 仆舒 仗亳仄亠亠 亳亠仄 ...
弌舒亳亳从亳 亟仂 弌舒亳亳从亳. 亅于仂仍ム亳 舒亳亠从 亳亠仄 仆舒 仗亳仄亠亠 亳亠仄 ...
yaevents
Innodb Scalability And New Features Hl2008 Rus
Innodb Scalability And New Features Hl2008 RusInnodb Scalability And New Features Hl2008 Rus
Innodb Scalability And New Features Hl2008 Rus
Ontico
Top big data architecture patterns by Igor Chub
Top big data architecture patterns  by Igor ChubTop big data architecture patterns  by Igor Chub
Top big data architecture patterns by Igor Chub
.NET User Group Dnipro
亠仂仆亳亟 仍仂亳仆 (Big Data Engineer): 丼乘 PARQUET
亠仂仆亳亟 仍仂亳仆 (Big Data Engineer): 丼乘    PARQUET亠仂仆亳亟 仍仂亳仆 (Big Data Engineer): 丼乘    PARQUET
亠仂仆亳亟 仍仂亳仆 (Big Data Engineer): 丼乘 PARQUET
Provectus
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
BAKOTECH
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
仂仆亳仂亳仆亞, ミ出湖出 亳 仂仗亳仄亳亰舒亳 弍舒亰 亟舒仆仆, 亳仗仂仍亰 仗仂亟从 Dell Software
Marina Gryshko
DB2 BLU Explained
DB2 BLU ExplainedDB2 BLU Explained
DB2 BLU Explained
Maxim Zinal

Death And Resurrection Of Yandex Statistics Pavel Aleshin

  • 1. 舒从 Map/Reduce 仗舒 亊仆亟亠从.弌舒亳亳从
  • 2. Background亰于仆仂亶 仂 仂弍亠仄舒 亟舒仆仆, 亰舒 8 仍亠 仂弍亠仄 亟仆亠于仆 亟舒仆仆 于仂 于 2000 舒亰 2 亟仂 4丐弌从仂仂亳 仗仂亠仂仂于, 亟亳从仂于 亳 亠亳 于仂仍亳 仆亠 弍仂仍亠亠 亠仄 于 10 舒亰亟亳仆于亠仆仆 仗仂仂弍 于亢亳 仍亳仆亠亶仆仂 仄舒舒弍亳仂于舒, 亟仂弍舒于仍 亠于亠舒仂亰仆舒仍亳 仄 仂 仆亠 舒亰
  • 3. 仂亢亟亠仆亳亠 2001 亞仂亟亊仆亟亠从 start-up舒 于亠 1 亠于亠 400, 2 亟舒仆仆 于 亟亠仆4 仗仂亠从舒 亳 3 仂亠舒亠 仂亠 亰舒 亟亠仆 亳舒ム 亰舒 仗仂仍舒舒
  • 5. 亠于亠 舒亞亳仂 亟舒仆仆, 仆仂于亠 仗仂亠从 亳 仂亠亰-亰舒 仗舒亟亠仆亳 弍舒亰 弍于舒亠 仆亠 仗亠于舒亠仄 仗亠亠亳舒 仂亠 于 仂 亢亠 亟亠仆仂仍亠 亳仂亳亳, 从仂仂 仆亠仍亰 亠仂磦仍ム 仗仂亠 从仂仗亳亳 亟仍 仆舒亟亠亢仆仂亳 亳 从仂亠仆亳 舒亠仂于
  • 7. 从亳于仆亶 仂仂 亟舒仆仆 亳 亠弍仂于舒仆亳亶 仗仂亟仂仍亢舒亠仆亢亟亠仆 亳仗仂仍亰仂于舒 NAS 从舒从 舒仆亳仍亳亠 亟仍 , 仗仂磦仍磳 仆仂于仂亠 亰从仂亠 仄亠仂 亠 仄亠亢亟 舒仆亳仍亳亠仄 亳 亠亠仂亟亳仄 仆舒 Oracle RAC
  • 9. 弌舒仂弌亠 仄亠亢亟 NAS 亳 仗仂仂礌仆仂 仗亠亠亞亢亠仆舒丐礀亠仍亠 亰舒仗仂 仂亠仆 仗仍仂仂 亳仗仂仍亰ム 弍仂仍亠 仂亟仆仂亶 仄舒亳仆, 仆仂 于 仂仂礌亳亳 束弍亳損 于亠 从仍舒亠仗仂仍亰亠仄 bonding 亳 亟仂弍舒于仍磳仄 仆仂于亠 亳 亞仂仍仂于 于 RAC, 仆仂 仗亠亟亠仍 亢亠 仂亠仆 弍仍亳亰从仂
  • 11. 弌仄亠仂 亟舒仆仆 仗仂亟仂仍亢亳仍仂仍亳亠 仂亠舒仄 亢亠 仆亠 于舒舒亠 亠仂于, 亳 舒亠 仄仂亢亠 亰舒仆亳仄舒 亟仂 仆亠从仂仍从亳 仂从亠 亠仂于 仆舒 仗亠亠亠 仂亠仂于仂仍仂于 RAC 仗仂仂礌仆仂 亢亟 亟亞 亟亞舒舒舒亳于舒 亢亠 仆亠亠亞仂
  • 13. 丼仂 舒从仂亠 Map/Reduce?Map/Reduce 仂油亠仆仂仍仂亞亳, 仗仂舒ム舒 仆舒仗亳舒仆亳亠 仗亳仍仂亢亠仆亳亶, 亟仍瓿仗舒舒仍仍亠仍仆仂亶 仂弍舒弍仂从亳 弍仂仍亳 仂弍亠仄仂于 亟舒仆仆 仆舒油从仍舒亠舒仂仂亳 亳亰油仄仆仂亢亠于舒 从仂仄仗ム亠仂于.
  • 14. 丼仂 亠 于 Map/Reduce?亳仆亠亶仆仂亠 仄舒舒弍亳仂于舒仆亳亠 仗仂 仂弍亠仄 亟舒仆仆 亳 从仂仂亳 仂弍舒弍仂从亳丱舒仆亳仍亳亠 仆亠从亳仂于舒仆仆 亟舒仆仆仂仂舒 仄仂亟亠仍亳 map 亳 reduce 亰舒亟舒亳仂亟亟亠亢从舒 仍ミ英 磶从仂于仂亠仆仆舒 仗仂亟亟亠亢从舒 HA
  • 15. 丼亠亞仂 仆亠 于 Map/Reduce?丐亳仗仂于 亟舒仆仆仆亟亠从仂于舒亳亳仂于舒仆亳仂于亠仂从 亠仍仂仆仂亳
  • 17. 丼仂 舒从仂亠 MapReduce?舒仆仆亠弌油仂从亳 亰亠仆亳 仗仂仍亰仂于舒亠仍 亟舒仆仆亠 - 仂 舒弍仍亳.舒亢亟舒 亰舒仗亳 于 舒弍仍亳亠 仂仂亳 亳亰油仗仂仍亠亶 束从仍ム損 (key) 亳油束亰仆舒亠仆亳亠損 (value)丐舒弍仍亳舒 仄仂亢亠 弍 仂仂亳仂于舒仆舒 仗仂油从仍ム, 仆仂 仗仂油仄仂仍舒仆亳 舒弍仍亳 仆亠油仂亳仂于舒仆.仗亠舒亳亳舒亟油亟舒仆仆仄亳 仄仂亢仆仂 仗仂亳亰于仂亟亳 亟于舒油亳仗舒 仂仗亠舒亳亶: map油亳油reduce. 舒亢亟舒 亳亰油仆亳 仗亠仂弍舒亰亠 仂亟仆 亳仍亳油仆亠从仂仍从仂 舒弍仍亳 于油亟亞 舒弍仍亳.Map油于仂亟亳 从油于仗仂仍仆亠仆亳 仗仂仍亰仂于舒亠仍从仂亶 仆从亳亳 map油亟仍 从舒亢亟仂亶 亰舒仗亳亳 于仂亟仆仂亶 舒弍仍亳. 个仆从亳 仗亳仆亳仄舒亠 仆舒油于仂亟 仂亟仆 亰舒仗亳 亳油亞亠仆亠亳亠 仗仂亳亰于仂仍仆仂亠 从仂仍亳亠于仂 于仂亟仆 亰舒仗亳亠亶.Reduce于仗仂仍仆磳 仗仂仍亰仂于舒亠仍从 仆从亳 reduce 亟仍瓿从舒亢亟仂亞仂 仆亳从舒仍仆仂亞仂 从仍ム舒 于仂油于仂亟仆仂亶 舒弍仍亳亠. 个仆从亳 仗亳仆亳仄舒亠 仆舒油于仂亟 从仍ム 亳油亳亠舒仂, 仗仂弍亠亞舒ム亳亶 仗仂油于亠仄 亰舒仗亳礆 油亳仄 从仍ム仂仄. 亅舒油仆从亳 舒从亢亠 仄仂亢亠 亞亠仆亠亳仂于舒 仗仂亳亰于仂仍仆仂亠 从仂仍亳亠于仂 于仂亟仆 亰舒仗亳亠亶.丐舒弍仍亳 仄仂亢仆仂 亟舒仍, 从仂仗亳仂于舒, 仂弍亠亟亳仆 亳油仂亳仂于舒.
  • 18. 仂仂亠 仂亢亟亠仆亳亠仂弍舒于仍磳仄 Map/Reduce 舒仆亳仍亳亠 仍仂亞仂于亠亠仆仂亳仄 于亠 礀亠仍亠 仂亠 于 Map/Reduce舒亰舒 仂仍从仂 亟仍 弍 亰舒仗仂仂于 亳 亰舒仗仂仂于 仗仂 束于弍仂从舒仄損
  • 20. 亠亰ミ斜黍а仂 弍 于亟亠亢舒 仂 亟舒仆仆 仆亠仂弍仂亟亳仄仂 于仆仂亳 仂弍舒弍仂从 亳 舒仆亠仆亳亠 弍仂仍亳 亟舒仆仆 于 Map/Reduce 仂亢亠 仆亢仆舒 亟仍 从仂仆从亠仆仆 仂亠仆 亰舒仗仂仂于, 从亳仂于舒仆仆 亟舒仆仆, 仗仂于亠仂从 亠仍仂仆仂亳仂仂于 仂弍舒弍舒于舒 仗亠舒弍舒亶