Extreme Cloud Storage on FreeBSD, Андрей Пантюхин
- 2. (пара скриптов на shell и SQL)
- 3. медиа-сервис с типичным размером файла от 1 до 50 MB мастер данные от 100 TB до 1 PB стриминг данные от 50 до 200 TB стриминг полоса от 10 Gbit/s до 1 Tbit/s
- 4. сохранность мастер данных безотказность и качество стриминга разумная TCO
- 5. много дисковых полок эффективное кластерное хранилище CDN от вендора серверы доступа — отдельно
- 6. Isilon, NetApp, Panasas Exadata, EMC, HDS GPFS, PolyServe
- 7. инфраструктура требует 3–4 решения негарантируемая скорость при экстремальных нагрузках крайняя сложность дебага и тюнинга стоимость raw TB в 10–30 раза выше consumer storage
- 9. Google, Yandex, и почти все крупные интернет- компании гибкость, доступность дебага и тюнинга consumer hardware, стоимость raw TB в 1,5–3 раза выше consumer storage
- 10. HDFS, GFS, S3, (Lustre, …) сложности с большими расстояниями медленный стриминг, сложность кэширования сложность эксплуатации
- 13. продвинутый, надежный storage: geom, UFS2, ZFS проверенный extreme streaming на nginx доступная коммерческая поддержка на уровне ядра промышленный опыт NetApp, Isilon, Panasas
- 14. самая быстрая FS в мире 7 лет успешной эксплуатации ZFS сложна и пока медленна
- 15. основной протокол внешнего доступа достаточно быстрый и простой для внутреннего обмена
- 16. серверы и хранилище мастер и стриминг данные внешний и внутренний доступ кластерный и облачный (CDN) обмен
- 17. одна файловая система на диск никаких RAID, только JBOD распределённость на базе случайных чисел
- 18. шасси SuperMicro 4U 24 x 3.5" 2–6 x Intel Gigabit 24 x 2TB потребительские диски контроллеры LSI 1068 в режиме JBOD
- 19. имя файла — sha256 от его содержимого равномерно разнесены по 4096 (16^x) папкам диспетчер данных
- 20. минимум на трёх шасси чуть позже — минимум в трёх ДЦ
- 21. минимум на трёх шасси во всех точках CDN
- 22. PostgreSQL, sh, Python sha, hdd, chassis, rack, dc вид sha—http://chassis/hdd/ доступен приложению
- 23. знает текущий статус всех объектов формирует из ручных и автоматических задач сценарии и запускает их единая точка автоматизации частичная multi-master архитектура self-healing
- 24. nginx + fetch/wget/curl гибкая аутентификация быстрый fetcher в разработке
- 25. унифицирован между локальным и распределённым уровнями подстраивается под ширину каналов
- 26. nginx, secure link 100k+ потоков на шасси
- 27. linear local read/write: 100MB/s на диск, 2.4GB/s на шасси random local read: 20–40MB/s на диск, 480–960MB/s на шасси random HTTP get: 4–5Gbit/s на шасси без оптимизаций
- 28. app-level next path retry актуальная информация о доступности в приложении
- 29. carp в пределах dc proxy store при выходе диска из строя
- 30. hardware balancers плохо подходят для тяжёлых данных app-level, geo-aware, status-aware balancing
- 31. на новое шасси уходит несколько минут это можно автоматизировать plug-and-pray
- 32. примерно в 2,5 раза дороже жёсткого диска можно оптимизировать: пример backblaze
- 33. рабочий прототип примерно за неделю совершенствование в режиме production благодаря high availability
- 34. случайная распределённость — равномерно распределённое восстановление избытычности жёсткий диск 2TB: 6 часов 4 минуты шасси 48TB: 55 часов 6 часов ЦОД 1PB: 10 дней 5 дней :'-( Земля 10PB: 3 месяца CLASSIFIED секунд
- 35. секунды при потере диска миллисекунды при потере шасси (carp) секунды при потере dc (app-level next-path)
- 40. единственное унифицированное решение под задачи
- 41. интересно? заходите к нам в гости знакомиться и оставайтесь делать будущее! andrew@dreamindustries.ru