ݺߣ

ݺߣShare a Scribd company logo

Дмитрий Алексеев

•Download as PPT, PDF•
•
E
Egor Sulkin
1 of 20
Download to read offline
Местные мифы о хранении больших данных Дмитрий Алексеев
Объем хранимой цифровой информации растет на 50% в год! По оценкам, в 2009 г. в мире имелось 0,8 Zettabytes В 2010 г. их стало уже К 2020 г. ожидается 1,2 Zettabytes 35 Zettabytes! При этом: - В IT бюджеты заложен рост 2-3%* (В России – больше) *Source: IDC, White Paper Sponsored by EMC, The Digital Universe Decade - Are You Ready? Doc.# IDC_925, May 2010
Объем огромный, но структурируется не равномерно!
Почему в России Гб дороже? - Спасемся в облаке Ну да, в общем-то. Только «облако» должно на чем-то лежать . На чем? - ЦОДы в России Как делать не надо - Рубашка должна быть в тон костюму А может, кто-то хочет на Вас нажиться? - За морем телушка - полушка Отчего же перевоз алтын?
Объем огромный, но структурируется не равномерно!
УНИВЕРСАЛЬНЫХ РЕШЕНИЙ НЕТ Иерархическое хранение как разумный компромисс между скоростью и ценой/надежностью $7 $6,365,950 Floor space Power & Cooling Maintenance Millions Prod + DR Carts Hardware $3.5 $2,255,346 $946,405 $0 SATA Disk 250TB of storage Tape Blended Disk and Tape Combination Tape + Disk leads to perfect solution – High capacity SATA disk can offer lower cost access to online data – Tape is less expensive and consumes less energy, but is not often the best choice for online access to data – A blended solution provides online access to the most recent data, with longer term storage on energy-efficient tape
Как ЭФФЕКТИВНЕЕ хранить большие объемы Стоимость корпоративных систем хранения при объёме ~1PB Стоимость комплекса оборудования SAS Disk Оборудование $2/GB Потребляема я энергия 20w/TB SATA Ent. Disk $1/GB 5w/TB Tape Ent. $0.5/GB 0.4w/TB Стоимость носителя SATA Ent. Disk Tape Ent $0.4/GB $0.1/GB 5w/TB ~0w/TB Дисковая систем стоит в 2-4 раза больше чем ленточная библиотека и потребляет (а также требует охлаждения) в 10-50 раз больше чем библиотека при рекомендованном на 1ПБ количестве драйвов. Таблица использует данные прайс-листа компании IBM на сентябрь 2011
Аналитики ‘’Clipper Group’’ посчитали, что стоимость владения Дисковой системой в 29 раз превышает стоимость владения Ленточной, в основном за счет огромной разницы в энергопотреблении и охлаждении. А ведь помимо цены есть и более важный вопрос надежности!
6 мифов о ленте – что из них правда? Применение и Развитие Лента безнадежно устарела Надежность Дисковые системы догнали ленточные по надежности и являются 100% гарантом сохранности данных Производительность Ленту редко используют потому что она медленная Управление Процесс записи на ленту сложнее, чем на диски Энергопотребление Современные дисковые массивы потребляют совсем не много энергии Условия хранения Хранить ленту необходимо в специальных помещениях, при этом периодически перематывать
Компания FUJIFILM уже сейчас добилась 35 ТБ несжатой емкости на одном картридже!
НАДЕЖНОСТЬ - 99,9% Ленточные картриджи и дисковые системы одинаковы по надежности - Безусловно нет. Дисковые системы более уязвимы к физическому воздействию и сбоям энергоснабжения, по параметру Uncorrectable Bit Error Rate они уступают ленте в 10 000 раз, и срок их службы ограничен 3-4 годами, в то время как: После 12 лет хранения — полностью читаемыми оказались 99,945% носителей (более 16 000 лент). В 2010 году, в NERSC* было произведено считывание 14 805 823 метров магнитной ленты, что равняется расстоянию от г. СанФранциско до г. Перт (Австралия) В 14 файлах обнаружилось по одному нечитаемому блоку. Все 14 файлов в сумме занимали 108 метров магнитной ленты, что приблизительно равно длине самолёта Боинг 777, на котором можно долететь из Сан-Франциско в Перт. *Национальный вычислительный центр энергетических исследований США
НАДЕЖНОСТЬ - 99,9% Ленточные картриджи не являются 100% гарантом сохранности данных но: У них нет постоянно вращающихся частей У них нет электронных компонентов и управляющих контролеров (одна из проблемных частей жестких дисков) Они устойчивы к ударным нагрузкам, так как в них отсутствуют хрупкие части – например, считывающие головки и микроэлектроника Они не греются. Даже с разорванной и спекшейся ленты можно снять данные
ПРОИЗВОДИТЕЛЬНОСТЬ Ленту редко используют потому что она медленная? Ultrium LTO 6 без компрессии 160 Мбайт/с с компрессией 400 Мбайт/с StorageTek T10000C без компрессии 240 Мбайт/с с компрессией 460 Мбайт/с
Сравнение СКОРОСТИ передачи данных Используя в библиотеке одновременно несколько приводов можно значительно увеличить скорость за счет нескольких потоков записи max sustained data rate 3.5" HDD 15K rpm HDD 3.5" HDD 10K rpm 3.5" HDD 7.2K rpm T10000 IBM TS1120 Tape 　 drive LTO Ultrium4 LTO Ultrium3 DLT-S4 SDLT600 Blu-ray Optical Disk PDD (read) DVD-ROM 8× 0 20 40 60 80 MB/sec 100 120 140
УПРАВЛЕНИЕ Процесс записи на ленту такой же как на диск? ТЕПЕРЬ ДА Исторически применялось специализированное ПО: Резервное копирование (пример BakBone) Иерархическое хранение (пример XenData) Новая технология обращения к ленте LTFS Технология партирования данных наружу в формате понятном стандартным файловым системам
УСЛОВИЯ ХРАНЕНИЯ Хранить ленту необходимо в специальных помещениях, при этом периодически перематывать? Начиная с 5 поколения LTO Ultrium – все изменилось. Но даже предыдущие поколения лент могут гарантированно сохранять данные более 30 лет, что подтверждено историей и практикой их использования
FUJIFILM - технологии вдохновляют Fujifilm Advanced Research Lab  Fujifilm invests nearly $4 million dollars every day in research and development, using its enormous library of proprietary chemistry and advanced thin-film engineering expertise to create new products and advance existing businesses as customer needs evolve. Fujifilm Advanced Research Laboratories (opened in April, 2006) 　 Fujifilm’s Three Advanced Research Laboratories Advanced Core Technology Laboratories Building future core technologies centered on photonics, nanotechnology, and functional materials  Organic Synthesis Chemistry Research Laboratories 　 Carrying out R&D related to highly functional organic materials in such fields as the organic electronics and the medical imaging/ life-science fields  Life Science Research Laboratories Development of core technologies and products related to medical therapy and health in such fields as protein/DNA analysis and diagnostic systems, drug discovery and drug discovery support, regeneration therapy, and healthcare 
Fujifilm Confidential Ultra Small Magnetic Particles Electronic Microscope Photos of the Magnetic Particles ATOMM Technology MP 100 - 200 nm NANOCUBIC Technology MP 40 - 100 nm Barium ferrite 30 – 40 nm 6 – 8 nm
Почему в России Гб дороже, часть 2 - Рубашка должна быть в тон костюму А может, кто-то хочет на Вас нажиться? - За морем телушка - полушка Отчего же перевоз алтын?
Спасибо за внимание!

More Related Content

Дмитрий Алексеев

  • 1. Местные мифы о хранении больших данных Дмитрий Алексеев
  • 2. Объем хранимой цифровой информации растет на 50% в год! По оценкам, в 2009 г. в мире имелось 0,8 Zettabytes В 2010 г. их стало уже К 2020 г. ожидается 1,2 Zettabytes 35 Zettabytes! При этом: - В IT бюджеты заложен рост 2-3%* (В России – больше) *Source: IDC, White Paper Sponsored by EMC, The Digital Universe Decade - Are You Ready? Doc.# IDC_925, May 2010
  • 4. Почему в России Гб дороже? - Спасемся в облаке Ну да, в общем-то. Только «облако» должно на чем-то лежать . На чем? - ЦОДы в России Как делать не надо - Рубашка должна быть в тон костюму А может, кто-то хочет на Вас нажиться? - За морем телушка - полушка Отчего же перевоз алтын?
  • 6. УНИВЕРСАЛЬНЫХ РЕШЕНИЙ НЕТ Иерархическое хранение как разумный компромисс между скоростью и ценой/надежностью $7 $6,365,950 Floor space Power & Cooling Maintenance Millions Prod + DR Carts Hardware $3.5 $2,255,346 $946,405 $0 SATA Disk 250TB of storage Tape Blended Disk and Tape Combination Tape + Disk leads to perfect solution – High capacity SATA disk can offer lower cost access to online data – Tape is less expensive and consumes less energy, but is not often the best choice for online access to data – A blended solution provides online access to the most recent data, with longer term storage on energy-efficient tape
  • 7. Как ЭФФЕКТИВНЕЕ хранить большие объемы Стоимость корпоративных систем хранения при объёме ~1PB Стоимость комплекса оборудования SAS Disk Оборудование $2/GB Потребляема я энергия 20w/TB SATA Ent. Disk $1/GB 5w/TB Tape Ent. $0.5/GB 0.4w/TB Стоимость носителя SATA Ent. Disk Tape Ent $0.4/GB $0.1/GB 5w/TB ~0w/TB Дисковая систем стоит в 2-4 раза больше чем ленточная библиотека и потребляет (а также требует охлаждения) в 10-50 раз больше чем библиотека при рекомендованном на 1ПБ количестве драйвов. Таблица использует данные прайс-листа компании IBM на сентябрь 2011
  • 8. Аналитики ‘’Clipper Group’’ посчитали, что стоимость владения Дисковой системой в 29 раз превышает стоимость владения Ленточной, в основном за счет огромной разницы в энергопотреблении и охлаждении. А ведь помимо цены есть и более важный вопрос надежности!
  • 9. 6 мифов о ленте – что из них правда? Применение и Развитие Лента безнадежно устарела Надежность Дисковые системы догнали ленточные по надежности и являются 100% гарантом сохранности данных Производительность Ленту редко используют потому что она медленная Управление Процесс записи на ленту сложнее, чем на диски Энергопотребление Современные дисковые массивы потребляют совсем не много энергии Условия хранения Хранить ленту необходимо в специальных помещениях, при этом периодически перематывать
  • 10. Компания FUJIFILM уже сейчас добилась 35 ТБ несжатой емкости на одном картридже!
  • 11. НАДЕЖНОСТЬ - 99,9% Ленточные картриджи и дисковые системы одинаковы по надежности - Безусловно нет. Дисковые системы более уязвимы к физическому воздействию и сбоям энергоснабжения, по параметру Uncorrectable Bit Error Rate они уступают ленте в 10 000 раз, и срок их службы ограничен 3-4 годами, в то время как: После 12 лет хранения — полностью читаемыми оказались 99,945% носителей (более 16 000 лент). В 2010 году, в NERSC* было произведено считывание 14 805 823 метров магнитной ленты, что равняется расстоянию от г. СанФранциско до г. Перт (Австралия) В 14 файлах обнаружилось по одному нечитаемому блоку. Все 14 файлов в сумме занимали 108 метров магнитной ленты, что приблизительно равно длине самолёта Боинг 777, на котором можно долететь из Сан-Франциско в Перт. *Национальный вычислительный центр энергетических исследований США
  • 12. НАДЕЖНОСТЬ - 99,9% Ленточные картриджи не являются 100% гарантом сохранности данных но: У них нет постоянно вращающихся частей У них нет электронных компонентов и управляющих контролеров (одна из проблемных частей жестких дисков) Они устойчивы к ударным нагрузкам, так как в них отсутствуют хрупкие части – например, считывающие головки и микроэлектроника Они не греются. Даже с разорванной и спекшейся ленты можно снять данные
  • 13. ПРОИЗВОДИТЕЛЬНОСТЬ Ленту редко используют потому что она медленная? Ultrium LTO 6 без компрессии 160 Мбайт/с с компрессией 400 Мбайт/с StorageTek T10000C без компрессии 240 Мбайт/с с компрессией 460 Мбайт/с
  • 14. Сравнение СКОРОСТИ передачи данных Используя в библиотеке одновременно несколько приводов можно значительно увеличить скорость за счет нескольких потоков записи max sustained data rate 3.5" HDD 15K rpm HDD 3.5" HDD 10K rpm 3.5" HDD 7.2K rpm T10000 IBM TS1120 Tape 　 drive LTO Ultrium4 LTO Ultrium3 DLT-S4 SDLT600 Blu-ray Optical Disk PDD (read) DVD-ROM 8× 0 20 40 60 80 MB/sec 100 120 140
  • 15. УПРАВЛЕНИЕ Процесс записи на ленту такой же как на диск? ТЕПЕРЬ ДА Исторически применялось специализированное ПО: Резервное копирование (пример BakBone) Иерархическое хранение (пример XenData) Новая технология обращения к ленте LTFS Технология партирования данных наружу в формате понятном стандартным файловым системам
  • 16. УСЛОВИЯ ХРАНЕНИЯ Хранить ленту необходимо в специальных помещениях, при этом периодически перематывать? Начиная с 5 поколения LTO Ultrium – все изменилось. Но даже предыдущие поколения лент могут гарантированно сохранять данные более 30 лет, что подтверждено историей и практикой их использования
  • 17. FUJIFILM - технологии вдохновляют Fujifilm Advanced Research Lab  Fujifilm invests nearly $4 million dollars every day in research and development, using its enormous library of proprietary chemistry and advanced thin-film engineering expertise to create new products and advance existing businesses as customer needs evolve. Fujifilm Advanced Research Laboratories (opened in April, 2006) 　 Fujifilm’s Three Advanced Research Laboratories Advanced Core Technology Laboratories Building future core technologies centered on photonics, nanotechnology, and functional materials  Organic Synthesis Chemistry Research Laboratories 　 Carrying out R&D related to highly functional organic materials in such fields as the organic electronics and the medical imaging/ life-science fields  Life Science Research Laboratories Development of core technologies and products related to medical therapy and health in such fields as protein/DNA analysis and diagnostic systems, drug discovery and drug discovery support, regeneration therapy, and healthcare 
  • 18. Fujifilm Confidential Ultra Small Magnetic Particles Electronic Microscope Photos of the Magnetic Particles ATOMM Technology MP 100 - 200 nm NANOCUBIC Technology MP 40 - 100 nm Barium ferrite 30 – 40 nm 6 – 8 nm
  • 19. Почему в России Гб дороже, часть 2 - Рубашка должна быть в тон костюму А может, кто-то хочет на Вас нажиться? - За морем телушка - полушка Отчего же перевоз алтын?