際際滷

際際滷Share a Scribd company logo
Google  讌燕 蠍一 Google  覿 ろ襴讌  - GFS samantha
GFS GFS(Google File System)
GFS (Google File System) 蟲蠍   覿壱殊ろ れ 貉危磯ゼ 譟壱 蟇磯 ろ襴讌 ( 碁蠍一旧レ ) 襯 襷れ企企 蠍一 ろ語襯 牛 殊 所 郁鍵  ろ レ    一危
一危 ′  麹 り レ 豈 螻 覦 襦  ろ り GFS  殊  覦煙    一危磯ゼ 朱 蠍磯螻 曙 企 一危 ′   襦 麹 り cue   殊 一危一  cue 襦  GFS  殊企 一危一 給
GFS  蠍磯   願鍵 蠍 所鍵 郁鍵 る     覲旧 貊 豢螳       一危 豢螳
GFS  豌企 Master  GFS 豌伎 襯 蟯襴螻 旧 譴覯 Chunk  GFS   64MB   觚襦 螳螳  Chunk  覲危  3 螳  Chunk Server    覲旧 覲願 Chunk Server  Master 螳 蟯襴 れ 覯 ろ 豢 企 Client  GFS 襯 伎 殊 所 磯 襴貅伎
GFS  豌企 企殊伎誤 襷ろ 豌 覯 豌 覯 豌 覯  豌 豌 豌
郁鍵 Primary 襷ろ郁 豌 覯 譴 牛   蟆朱 蟆一  豌 覯 Secondary  Primary 語 襾語 企殊伎誤語蟆 企 覯螳 殊企┯襴語 覃 危 蠍磯 襭 蟾讌  殊企┯襴螳 蠍磯 螻殊 旧 豌 覯螳 譴 螻レ 蟇磯 ろ レ襦 蠍磯 ろ讌 覈襯願鍵 覓語 豈襷
貊 豢螳 殊   覓苦 一危磯ゼ 朱 豢螳襦 り Record   覯 所 磯 一危一  譴 覦讌 螻 ろ蟆 蠍磯伎  Atomic 譟一   豌襴螳 襷讌襷蟾讌 譴讌 螻 覯 企伎 蟆
GFS  殊企   レ 豈 豌 レ 豈 ろ 襤一煙 願鍵  豌襯 覲伎ヾ  豌危 螻壱 豌 伎螻 蠍磯 Checksum  一危一 覓願屋煙 蟆讀蠍  襷れ伎 螳 .  狩 一危磯朱 覦 狩 豌危 螳 襷れ伎語  .  曙    一危郁 るゴる 豌危 譟一 ろ 螳 覦 蟆朱 螳譯 豌 覯 レ 豈 豌 覯 旧  蠍磯 襷ろ磯 蠏瑚 蟯襴   .  豌 襦 覯蟆 れ 豪 豌覲旧覲語 螳 狩蟆 讌
GFS  殊企   レ 豈 襷ろ レ 豈 襷ろ郁 讌覃  GFS 豌願  蠍磯レ 讌 覈詩 蟯襴 覲 螳煙  Operation Log  蠍磯 襷ろ郁 讌企  Operation Log   曙伎 螻ル蠍  襦 襴
BIGTABLE
Bigtable 覿 ろ襴讌 ろ 蟲蠍螻 螳 蠏覈 覿 ろ  覲旧″ 一危 蟲譟磯ゼ 朱  所   襦 螻 蠍一ヾ  RDB  殊  Data Model :  一危 ル逢覯  螻覦 Crawler 螳 讌 覦  伎襯 ロ蠍 危 覈朱
企 蟲譟 * RDB  一危 覈 * Bigtable  一危 覈 豺朱 襦 襦 襦  豺朱 覦襴 豺朱  ろ 螳 蟲譟壱 一危
れ姶 襷 れ姶 襷 企 ? Bigtable  襦  ,  豺朱  ,   ろ襯 螳螳 襴蟇磯 譴  る 螳 襦 れ 豺朱 覦襴 れ ->  れ  企螻 螳 蟲譟 譟伎 螳襦 覦  豺朱 譟伎 ->  data    Time stamp   蟲覲
Bigtable  一危 覈 豺朱  豺朱 覦襴 襦  襦   ろ
Bigtable  豌 覈 Chubby GFS 企殊伎誤 觚襴 覯 觚襴 覯 觚襴 覯 襷ろ Bigtable  蟲煙
觚襴 SStable 所鍵  蟆 企 _  覿螳 れ   data  豺 蠍磯 Memtable  螳ロ  企 螻 覦 殊覩襦  GFS  觚襴 企レ  _Commit 襦蠏 伎
CUHBBY
Chubby Lock  覯 覿一ろ  Lock   覲旧 ろ 螻牛 襴るゼ 伎   data 螳 蟾讌 蟆 襷蠍   Lock  3 螳讌 蠍磯 File System Lock service Event notification
File System Global   瑚蠏殊 螳ロ  chubby  <-> local   :  螳蟾   蠏 ろ 豌 蟯 覲 蠍磯 螳譬 蠏  企 企 覲願 譴瑚 Bigtable  覃一危郁 企 螳 ろ れ  file
Lock service 覦壱 覓語 願屋 Shared Lock 覦壱 リ 覦讌  -> file  伎 覲蟆  X Exclusive Lock 蠍   X -> file    螳 Advisory Lock 蠍 覓伎 螻 所 郁鍵 螳
Event notification File  螳覃  event  覦 襦語るれ 螳ク蟆 覲願 螳 Event  覦 Chubby 螳  file 燕蟇磯 伎  update  File update  貂蠍 - る 伎曙  Chubby  襴 螳 焔蟇磯

More Related Content

Google3

  • 1. Google 讌燕 蠍一 Google 覿 ろ襴讌 - GFS samantha
  • 3. GFS (Google File System) 蟲蠍 覿壱殊ろ れ 貉危磯ゼ 譟壱 蟇磯 ろ襴讌 ( 碁蠍一旧レ ) 襯 襷れ企企 蠍一 ろ語襯 牛 殊 所 郁鍵 ろ レ 一危
  • 4. 一危 ′ 麹 り レ 豈 螻 覦 襦 ろ り GFS 殊 覦煙 一危磯ゼ 朱 蠍磯螻 曙 企 一危 ′ 襦 麹 り cue 殊 一危一 cue 襦 GFS 殊企 一危一 給
  • 5. GFS 蠍磯 願鍵 蠍 所鍵 郁鍵 る 覲旧 貊 豢螳 一危 豢螳
  • 6. GFS 豌企 Master GFS 豌伎 襯 蟯襴螻 旧 譴覯 Chunk GFS 64MB 觚襦 螳螳 Chunk 覲危 3 螳 Chunk Server 覲旧 覲願 Chunk Server Master 螳 蟯襴 れ 覯 ろ 豢 企 Client GFS 襯 伎 殊 所 磯 襴貅伎
  • 7. GFS 豌企 企殊伎誤 襷ろ 豌 覯 豌 覯 豌 覯 豌 豌 豌
  • 8. 郁鍵 Primary 襷ろ郁 豌 覯 譴 牛 蟆朱 蟆一 豌 覯 Secondary Primary 語 襾語 企殊伎誤語蟆 企 覯螳 殊企┯襴語 覃 危 蠍磯 襭 蟾讌 殊企┯襴螳 蠍磯 螻殊 旧 豌 覯螳 譴 螻レ 蟇磯 ろ レ襦 蠍磯 ろ讌 覈襯願鍵 覓語 豈襷
  • 9. 貊 豢螳 殊 覓苦 一危磯ゼ 朱 豢螳襦 り Record 覯 所 磯 一危一 譴 覦讌 螻 ろ蟆 蠍磯伎 Atomic 譟一 豌襴螳 襷讌襷蟾讌 譴讌 螻 覯 企伎 蟆
  • 10. GFS 殊企 レ 豈 豌 レ 豈 ろ 襤一煙 願鍵 豌襯 覲伎ヾ 豌危 螻壱 豌 伎螻 蠍磯 Checksum 一危一 覓願屋煙 蟆讀蠍 襷れ伎 螳 . 狩 一危磯朱 覦 狩 豌危 螳 襷れ伎語 . 曙 一危郁 るゴる 豌危 譟一 ろ 螳 覦 蟆朱 螳譯 豌 覯 レ 豈 豌 覯 旧 蠍磯 襷ろ磯 蠏瑚 蟯襴 . 豌 襦 覯蟆 れ 豪 豌覲旧覲語 螳 狩蟆 讌
  • 11. GFS 殊企 レ 豈 襷ろ レ 豈 襷ろ郁 讌覃 GFS 豌願 蠍磯レ 讌 覈詩 蟯襴 覲 螳煙 Operation Log 蠍磯 襷ろ郁 讌企 Operation Log 曙伎 螻ル蠍 襦 襴
  • 13. Bigtable 覿 ろ襴讌 ろ 蟲蠍螻 螳 蠏覈 覿 ろ 覲旧″ 一危 蟲譟磯ゼ 朱 所 襦 螻 蠍一ヾ RDB 殊 Data Model : 一危 ル逢覯 螻覦 Crawler 螳 讌 覦 伎襯 ロ蠍 危 覈朱
  • 14. 企 蟲譟 * RDB 一危 覈 * Bigtable 一危 覈 豺朱 襦 襦 襦 豺朱 覦襴 豺朱 ろ 螳 蟲譟壱 一危
  • 15. れ姶 襷 れ姶 襷 企 ? Bigtable 襦 , 豺朱 , ろ襯 螳螳 襴蟇磯 譴 る 螳 襦 れ 豺朱 覦襴 れ -> れ 企螻 螳 蟲譟 譟伎 螳襦 覦 豺朱 譟伎 -> data Time stamp 蟲覲
  • 16. Bigtable 一危 覈 豺朱 豺朱 覦襴 襦 襦 ろ
  • 17. Bigtable 豌 覈 Chubby GFS 企殊伎誤 觚襴 覯 觚襴 覯 觚襴 覯 襷ろ Bigtable 蟲煙
  • 18. 觚襴 SStable 所鍵 蟆 企 _ 覿螳 れ data 豺 蠍磯 Memtable 螳ロ 企 螻 覦 殊覩襦 GFS 觚襴 企レ _Commit 襦蠏 伎
  • 20. Chubby Lock 覯 覿一ろ Lock 覲旧 ろ 螻牛 襴るゼ 伎 data 螳 蟾讌 蟆 襷蠍 Lock 3 螳讌 蠍磯 File System Lock service Event notification
  • 21. File System Global 瑚蠏殊 螳ロ chubby <-> local : 螳蟾 蠏 ろ 豌 蟯 覲 蠍磯 螳譬 蠏 企 企 覲願 譴瑚 Bigtable 覃一危郁 企 螳 ろ れ file
  • 22. Lock service 覦壱 覓語 願屋 Shared Lock 覦壱 リ 覦讌 -> file 伎 覲蟆 X Exclusive Lock 蠍 X -> file 螳 Advisory Lock 蠍 覓伎 螻 所 郁鍵 螳
  • 23. Event notification File 螳覃 event 覦 襦語るれ 螳ク蟆 覲願 螳 Event 覦 Chubby 螳 file 燕蟇磯 伎 update File update 貂蠍 - る 伎曙 Chubby 襴 螳 焔蟇磯