More Related Content
What's hot (14)
Similar to Workflows в Express 42 (20)
Workflows в Express 42
- 1. Workflows в Express 42 Игорь Курочкин
- 2. История • Qik • Skype • Microsoft • Express 42 Надежные решения для сложной инфраструктуры 2
- 3. Qik • 2 DEV команды • 3 OPS • 1 продукт • 1 датацентр, 2 окружения • 10 сервисов • 50 серверов Надежные решения для сложной инфраструктуры 3
- 4. Skype • 2 DEV команды • 5 OPS • 2 продукта • 3 датацентра • 20 сервисов (Java/Python/C/C++) • 200 серверов • 100Tb данных в месяц Надежные решения для сложной инфраструктуры 4
- 5. Skype Ops • 3 OPS • Scrum • 5 OPS • 3 Infra OPS • 1 dedicated OPS per team • CEN, TSG, On-call • Передача проекта • devopstopologies.com Надежные решения для сложной инфраструктуры 5
- 6. Skype infra repo • 1 репозиторий • 3 репозитория • base • team1 • team2 • N репозиториев • base • team1 • teamN • component1 • componentN Надежные решения для сложной инфраструктуры 6
- 7. Skype • PaaS • Chef and Zabbix • DBaS • InfoSec • TPS • Internal and external endpoints • Deployment • PreQA, QA, CAB, Live • DR, incidents and post-mortems Надежные решения для сложной инфраструктуры 7
- 8. Express 42 Chef • Workflow • Testo • Berkshelf • Community cookbooks • Test Kitchen and tests Надежные решения для сложной инфраструктуры 8
- 9. Chef • Chef DK • Knife • Berkshelf • Chef клиент • всегда запущен и run проходит без ошибок • настраивает окружение • не деплоит • Chef сервер на окружение (knife-block) Надежные решения для сложной инфраструктуры 9
- 10. Chef workflow • Chef RFC • https://github.com/chef/chef-rfc • rfc019-chef-workflows • Chef Policies • https://www.chef.io/blog/2015/10/05/ policyfiles-why-what-and-how/ • Roles/Environments/Runlist Надежные решения для сложной инфраструктуры 10
- 11. Chef проблемы • Монолитные кукбуки • Изменения не доходят до всех окружений • Данные на Chef и в Git не совпадают • Аудит изменений на Chef сервере и на клиенте • Версионирование Надежные решения для сложной инфраструктуры 11
- 12. Testo https://github.com/express42-cookbooks/testo • cookbooks • data_bags • environments • roles • Berksfile/Berksfile.lock • .kitchen.yml • README.md Надежные решения для сложной инфраструктуры 12
- 13. Berksfile Надежные решения для сложной инфраструктуры 13
- 14. Roles and env • Roles • Base • Chef server • Graylog server • Zabbix server • Environment • Vagrant Надежные решения для сложной инфраструктуры 14
- 15. .kitchen.yml Надежные решения для сложной инфраструктуры 15
- 16. Infra repo http://www.heavywater.io/blog/2015/04/29/infra- repo/ • AWS • SparkleFormation • sfn • Batali • Chef Надежные решения для сложной инфраструктуры 16
- 17. Community cookbooks • Platforms (Ubuntu 14.04) • Init systems and restart • Chef 11/12 • LWRP and wrapper support • Dependencies • Templates • Tests and Chef Supermarket • Issues and pull requests Надежные решения для сложной инфраструктуры 17
- 18. Tests • Любое изменение на GitHub • Запуск тестов в Travis CI • Вызов Rubocop и Foodcritic проверок • Запуск виртуалки в Digital Ocean через Test Kitchen • Выполнение Serverspec тестов • Загрузка в Chef Supermarket • Нотификация в Slack чат и обновление статуса сборки Надежные решения для сложной инфраструктуры 18
- 19. Мониторинг Zabbix • zabbixapi • zabbix_lwrp (host, template, graph, …) • zabbix_templates (~25 сервисов) • zabbix_actions (email, slack, opsgenie) • zabbix_dashing • https://github.com/alexanderzobnin/grafana-zabbix Надежные решения для сложной инфраструктуры 19
- 20. Мониторинг • https://github.com/express42/zabbixapi • https://github.com/express42-cookbooks/ zabbix_lwrp Надежные решения для сложной инфраструктуры 20
- 21. Мониторинг Надежные решения для сложной инфраструктуры 21 Zabbix Live • Number of hosts 134 • Number of items 74754 • Number of triggers 20775 • New values per second 1186 Zabbix PreQA/QA • 79/28920/4968/454
- 22. Мониторинг Надежные решения для сложной инфраструктуры 22 • Много триггеров для поиска проблемы, но только две нотификации о наличии • End-to-end тесты: • Full flow тест • Harness тест
- 23. ChatOps • Slack integrations https://api.slack.com/community • Atlassian/Zabbix/GitHub/Travis • Chef/Deploy/Rundeck/Foreman/Graylog • Hubot • https://hubot.github.com Надежные решения для сложной инфраструктуры 23
- 24. Документация • knife-cookbook-doc • README.md • CHANGELOG.md • Git commit message • Readme Driven Development • http://docs.writethedocs.org Надежные решения для сложной инфраструктуры 24
- 25. Культура • Постоянные улучшения • Внутренние митапы • Хакатоны • Вече Надежные решения для сложной инфраструктуры 25
- 26. Вопросы? Надежные решения для сложной инфраструктуры 26 • Twitter: @igoritl • GitHub: ikurochkin • igor@express42.com