Google 4
- 2. Map + Reduce -> 一危磯ゼ 豌襴 蠍一 Map : 企 data 讌 覦れ 襦 data 襯 燕 process Reduce : Map 襷れ伎 data 襯 覈 豕譬朱 蟆郁骸襯 襷 process
- 3. Map : < , 螳 > -> < も , 螳 > Map れ 螳 朱 覦れ 襦 れ 螳 朱 蟲燕 list Reduce : < も , 螳 > -> 螳 Reduce 螳 るゼ 螳讌 覲旧 螳 覦れ 0 蠏 伎 螳 碁煙 炎骸 觜蟲 Map : 伎襯 螳語 覲 煙 豢豢 Reduce : 蠏瑚 碁煙る 覈
- 5. Map Map Reduce Reduce 1 螳 2 2 螳 2 A=X A 螳 X B=Y,Z B 螳 Y B 螳 Z Map : 襦 る 螳 Reduce : 螳 れ 螳 牛
- 6. 覯蟒蟲 伎 蟲 伎 docID=1 docID=2 覯蟒 蟲 伎 (301) (101) (201) (203) 蟲 伎 (302) (101) (201) (203) WordID 蟲 101 201 伎 203 覯蟒 301 302 WordID docID 豺 101 1 1 2 1 201 1 2 2 2 203 1 3 2 3 301 1 0 302 2 0
- 7. Shuffle Map Reduce Shuffle : Map 豢レ 襴 螳 れ 螳 覈 ル data (wordID) 螳 (docID) 301 1 : 0 101 1 : 1 201 1 : 2 203 1 : 3 (wordID) 螳 (docID: 豺 ) 襴ろ 101 1:1 2:1 201 1:2 2:2 203 1:3 2:3 301 1:0 302 2:0 (docID) 螳 ( ろ ) 1 覯蟒覓危蟲 伎 2 覓危蟲 伎 (wordID) 螳 (docID) 302 2 : 0 101 2 : 1 201 2 : 2 203 2 : 3 螳 (wordID=docID : 豺 , ) 101 = 1:1, 2:1 201 = 1:2, 2:2 203 = 1:3, 2:3 301 = 1:0 302 = 2:3
- 8. Counter 譟郁唄 襷 data 瑚鍵 覿 grep file 轟 覓語伎 谿城 program 覿 sort data 襯 襦 Map-Reduce shuffle 螻殊 data 螳 れ 襦 る 轟炎讌 襷 list 伎襦覿 襷 覲企ゼ 豢豢
- 9. Master MapReduce 豌 蟯襴 , woker 蟆 覿 Woker Master 蟲 磯 Map Reduce 襯 ろ 螳螳 woker Map, Reduce 企 讓曙企 ろ GFS Map Reduce Map Reduce GFS woker woker Master
- 10. ろ 蟲 MapReduce 襯 覯 ろ蠍 襾語 覦 ~ 豌 螳螳 襾語 覲旧 CPU 覃覈襴レ逢 覿 朱誤 M & R : 2 螳 朱誤 伎 M : ロ殊 覿 _ 殊 蠍一 磯 伎 R : 譴螳 殊 覿壱 _ 螳覦 讌
- 11. 襦貉襴 譬 螻糾 螳ロ 覈 蟆れ 豌襴伎 data ′ 覿襯 狩 蟆 Work Queue 企ろ 伎 覈 襾語 CPU 覿 ろ 覿襯 螳螻 り 覿螳 蟆 蟇碁 襾語蟆 豌襴襯 ろ襦 襷ろ磯ゼ 覦煙 襷ろ Map 螻 Reduce 螳 朱 讌 狩 豌襴襯 覲旧 襾語 ろ Backup Task
- 12. 覿一襴襯 螻 DSL DSL:Domain-Specific Language 覯 襦蠏碁覦 語伎 覓伎企 螳ロ 蟆 讌襷 , 轟 伎 襷れ GFS 螳 一危一 覲 詞 Filter : Map 企麹 豌襴 Aggregator : Reduce 企麹 蟆
