Путь мониторинга: модульность, гибкость, devopsVsevolod PolyakovДоклад на rootconf концеренции, о том как мы в grammarly устроили мониторинг на базе influx, graphite, sensu, statsd, logstash
Chef wtfVsevolod PolyakovKyivOps #0 at Ciklum, Sep 26, 2015
A story about why we in Grammarly abandoned development chef, as a configuration management system.
Константин Назаров – Распараллеливание сборки Parallels Desktop для Mac404festИдея доклада — рассказать об использовании Jenkins как не типичного инструмента для построения распределенной сборки продукта, зарабатывающего миллионы долларов. Мы поделимся секретами его адаптации под сборку билдов сложных систем/продуктов с многими компонентами и ускорения в разы этой задачи.
Наша проблема: линейная сборка продукта занимает 8 часов. А Jenkins «из коробки» не умеет собирать сложные иерархии. При этом писать код самостоятельно не хочется. В итоге мы придумали, как использовать существующий инструмент, пройдясь по нему напильником.
Кому будет интересно: Эти знания могут помочь людям, которые хотят построить эффективный CI, но не хотят тратить много времени на исследования.
Мы выложим наш код и материалы на GitHub. Это будет довольно практично.
Лайфхаки:
Используем Build Flow + Groovy скрипты чтобы оркестрировать сложную иерархию с параллельными ветвями и собирать результаты
Правильное использование префиксов в названиях job-ов помогают автоматизировать группировку по бранчам
Переиспользуем окружения сборки много раз, не удаляя их
Предыдущий пункт в итоге оставляет за собой кучу мусора, которую мы периодически очищаем при помощи системных Groovy скриптов по job префиксу
Группировка большого количества job-ов в проекты и бранчи с использованием Nested View
Дамп и разворачивание job-ов из системы контроля версий по шаблону
Ну и взгляд в будущее: автоматический анализ билд проблем.
http://2014.404fest.ru/reports/jenkins/
Github Flow. Тестировщики против тестированияSQALabПрезентация Татьяны Писчасовой на SQA Days-16
14-15 ноября 2014, Санкт-Петербург, Россия
www.sqadays.com
«GitHub Flow — немного сложнее, чем на бумаге», Александр Бирюков2ГИС ТехнологииОсобенности модели Github-flow и нюансы её внедрения в основную ветку разработки.
Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)OnticoПочти год назад мы завершили проект по универсальному мониторингу и в процессе приобрели кучу секретных знаний и умений, которыми хотим поделиться:
* как сделать мониторинг простым, отказоустойчивым и горизонтально масштабируемым;
* как понять, что важно, что не важно, а что важно, но чуть-чуть;
* полезные логи: конвертация логов в метрики и обратно;
* как диагностировать реальные проблемы и отличить их от ложной тревоги (на примере связки js-фронтенд + балансеры + java-бэкенд);
* и, конечно же, как внедрить практики DevOps посредством мониторинга (и подготовить разработчиков к тому, что они ответственны за алерты).
Стек мониторинга: sensu, graphite, cassandra, logstash, heka, influxdb, elsticsearch, chef, statsd, nginx.
Стек поддержки: js, java, erlang, lisp, python, ruby, nginx, mysql, haproxy
Разделяй и властвуй!Vitebsk MiniqПрезентация подготовлена по материалам выступления Андрея Астащенко на витебском MiniQ#12, который был проведен 27 сентября 2018:
https://vk.com/miniq12;
https://events.epam.com/events/miniq-vitebsk-12.
Чтобы стать модным front-меном, знать HTML, CSS, JavaScript, Bootstrap, JQuery, к сожалению, недостаточно... В отличие от суровых back-end разработчиков, к которым я отношу и себя, эти ребята экспериментируют намного больше, быстрее, а структуры проектов становятся всё сложнее для быстрого понимания.
Значит, чтобы стать частью их команды, нужно изучить, как там все это устроено.
Вы будете семи пядей во лбу, если сможете сразу овладеть технологиями, на которых основаноприложение, я вам в этом завидую! Ну а остальным я бы предложил разобраться в основах вместе, разделив всё на отдельные части.
Эволюция процесса деплоя в проекте — Денис Яковлев, 2ГИС2ГИС ТехнологииЕсли наш проект это не коробочный продукт, а, например, веб-сервис, на который постоянно ходят пользователи, их много и они сразу видят изменения, то в жизненном цикле разработки у нас возникает еще одна задача — задача деплоя готово кода в боевое окружение. В самом начале, когда наш проект маленький и простой на эту задачу никто может и не обращать внимание, так как все происходит быстро и просто. Процесс деплоя состоит из 2-3 общеизвестных шагов - git pull, yii migrate, etc...которые легко запомнить и в которых сложно ошибиться.
С развитием проекта его сложность возрастает — он уже крутится на нескольких серверах, появляются новые компоненты (утилититы, библиотеки и т.д.), новые сущности (балансеры, кешы, и т.д.). Держать всю инфраструктуру в голове становится невозможным, ведение документации привносит больше проблем чем решений, люди ошибаются чаще и т.д.
В докладе:
— Рассмотрим подробно вышеуказанные проблемы, с которыми неизбежно сталкиваются проекты.
— Обсудим какие решения существуют в индустрии (chef, ansible, etc), чем они отличаются, в чем их задача и какое решение выбрать;
— Поговорим про административные вопросы, которые с этим связаны.
Что такое Robot Framework?Mykhailo PoliarushПрактически все известные мне передовые проекты используют Agile, как способ быстрой разработки ПО. За счет чего обеспечивается быстрая разработка? Правильно, множеством процессов, один из которых «автоматизация тестирования ПО».
Хорошо когда у вас есть время выработать фреймфорк, который хорошо ложиться в ваш проект. Но когда времени нет, то надо двигаться быстро. Зачастую выбор падает в сторону уже существующих фреймворков, с помощью которых можно быстро выполнить необходимую автоматизацию и максимально решить ваши задачи.
RobotFramework – это фреймворк высокого уровня, с помощью которого можно строить keyword-driven, data-driven и acceptance авто-тесты. В своем докладе я расскажу, что такое RobotFramework, где он используется и как его можно применить.
Изучай python и автоматизацию на тестирования на python на http://lessons2.ru
Что такое проект по автоматизации тестирования ПО?Mykhailo PoliarushВот настал прекрасный момент и у вас появился проект по автоматизации. У вас не было опыта? С чего начать? и что делать дальше? В своем докладе я расскажу:
- как выглядит инициация проекта по автоматизации
- заказчик и его позиция
- основные принципы организации проекта автоматизации
- как выбирать и формировать команду
- ключевые процессы, которые нужно сделать до начала проекта
- как настроить среду для работы
- и как выполнить сам проект с успешным финалом
Изучай python и автоматизацию на тестирования на python на http://lessons2.ru
Добиваемся эффективности каждого из 9000+ UI-тестовSQALabДоклад Максима Сахарова на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия
www.sqadays.com
Автоматическое тестирование Web apiIgor LyubinСовременный мир ускоряется, и от тестирования требуется быстрые и стабильные тесты. В этом мастер-классе предлагается уйти от UI автоматизации и перейти на уровень ниже "пирамиды тестирования", на уровень WEB API. Не обещаю теорию, но будет много практических кейсов. В качестве примера я возьму популярный веб сайт с открытым API и покажу как за относительно небольшое время можно создавать хорошие тесты! Причем тесты мы будем создавать совместно, и особых навыков программирования от участников здесь не потребуется, достаточно включить логику и желание освоить что-то новое.
DevOps в Agile среде. Как, почему и когда инструменты помогают.Alexander TitovМодное слово DevOps уже успело стать заезженным базвордом. Сотни компаний ищут DevOps инженеров, потому что искать системного администратора уже не модно. Я расскажу вам про свое понимание DevOps, как технические инструменты помогают делать Agile еще более гибким.
Мы разберем основные принципы DevOps через призму донесения смысла без потерь:
- Особая культура
- Автоматизация
- Изменения через измерения
- Распространение знаний и практик
Я поделюсь своим 5ти летним опытом в обеспечении повторяемости, мониторинге, логировании с примерами из реальной жизни.
Александр Титов - управляющий партнер в компании "Экспресс 42", мы внедряем DevOps практики и инструменты, помогаем эксплуатировать интернет-проекты.
В 2009, 2010 годах был техническим директором первого облачного хостинга в России Скалакси.
В 2010 - 2012 прошел увлекательный путь поглощений вместе с компанией Qik - путь из эксплуатации быстрорастущего стартапа к эксплуатации в крупной международной компании Microsoft.
Инструменты автоматизации тестирования - дефективныеSQALabПрезентация Дмитрия Химиона на SQA Days-16
14-15 ноября 2014, Санкт-Петербург, Россия
www.sqadays.com
Github Flow. Тестировщики против тестированияSQALabПрезентация Татьяны Писчасовой на SQA Days-16
14-15 ноября 2014, Санкт-Петербург, Россия
www.sqadays.com
«GitHub Flow — немного сложнее, чем на бумаге», Александр Бирюков2ГИС ТехнологииОсобенности модели Github-flow и нюансы её внедрения в основную ветку разработки.
Путь мониторинга: модульность, гибкость, devops / Всеволод Поляков (Grammarly)OnticoПочти год назад мы завершили проект по универсальному мониторингу и в процессе приобрели кучу секретных знаний и умений, которыми хотим поделиться:
* как сделать мониторинг простым, отказоустойчивым и горизонтально масштабируемым;
* как понять, что важно, что не важно, а что важно, но чуть-чуть;
* полезные логи: конвертация логов в метрики и обратно;
* как диагностировать реальные проблемы и отличить их от ложной тревоги (на примере связки js-фронтенд + балансеры + java-бэкенд);
* и, конечно же, как внедрить практики DevOps посредством мониторинга (и подготовить разработчиков к тому, что они ответственны за алерты).
Стек мониторинга: sensu, graphite, cassandra, logstash, heka, influxdb, elsticsearch, chef, statsd, nginx.
Стек поддержки: js, java, erlang, lisp, python, ruby, nginx, mysql, haproxy
Разделяй и властвуй!Vitebsk MiniqПрезентация подготовлена по материалам выступления Андрея Астащенко на витебском MiniQ#12, который был проведен 27 сентября 2018:
https://vk.com/miniq12;
https://events.epam.com/events/miniq-vitebsk-12.
Чтобы стать модным front-меном, знать HTML, CSS, JavaScript, Bootstrap, JQuery, к сожалению, недостаточно... В отличие от суровых back-end разработчиков, к которым я отношу и себя, эти ребята экспериментируют намного больше, быстрее, а структуры проектов становятся всё сложнее для быстрого понимания.
Значит, чтобы стать частью их команды, нужно изучить, как там все это устроено.
Вы будете семи пядей во лбу, если сможете сразу овладеть технологиями, на которых основаноприложение, я вам в этом завидую! Ну а остальным я бы предложил разобраться в основах вместе, разделив всё на отдельные части.
Эволюция процесса деплоя в проекте — Денис Яковлев, 2ГИС2ГИС ТехнологииЕсли наш проект это не коробочный продукт, а, например, веб-сервис, на который постоянно ходят пользователи, их много и они сразу видят изменения, то в жизненном цикле разработки у нас возникает еще одна задача — задача деплоя готово кода в боевое окружение. В самом начале, когда наш проект маленький и простой на эту задачу никто может и не обращать внимание, так как все происходит быстро и просто. Процесс деплоя состоит из 2-3 общеизвестных шагов - git pull, yii migrate, etc...которые легко запомнить и в которых сложно ошибиться.
С развитием проекта его сложность возрастает — он уже крутится на нескольких серверах, появляются новые компоненты (утилититы, библиотеки и т.д.), новые сущности (балансеры, кешы, и т.д.). Держать всю инфраструктуру в голове становится невозможным, ведение документации привносит больше проблем чем решений, люди ошибаются чаще и т.д.
В докладе:
— Рассмотрим подробно вышеуказанные проблемы, с которыми неизбежно сталкиваются проекты.
— Обсудим какие решения существуют в индустрии (chef, ansible, etc), чем они отличаются, в чем их задача и какое решение выбрать;
— Поговорим про административные вопросы, которые с этим связаны.
Что такое Robot Framework?Mykhailo PoliarushПрактически все известные мне передовые проекты используют Agile, как способ быстрой разработки ПО. За счет чего обеспечивается быстрая разработка? Правильно, множеством процессов, один из которых «автоматизация тестирования ПО».
Хорошо когда у вас есть время выработать фреймфорк, который хорошо ложиться в ваш проект. Но когда времени нет, то надо двигаться быстро. Зачастую выбор падает в сторону уже существующих фреймворков, с помощью которых можно быстро выполнить необходимую автоматизацию и максимально решить ваши задачи.
RobotFramework – это фреймворк высокого уровня, с помощью которого можно строить keyword-driven, data-driven и acceptance авто-тесты. В своем докладе я расскажу, что такое RobotFramework, где он используется и как его можно применить.
Изучай python и автоматизацию на тестирования на python на http://lessons2.ru
Что такое проект по автоматизации тестирования ПО?Mykhailo PoliarushВот настал прекрасный момент и у вас появился проект по автоматизации. У вас не было опыта? С чего начать? и что делать дальше? В своем докладе я расскажу:
- как выглядит инициация проекта по автоматизации
- заказчик и его позиция
- основные принципы организации проекта автоматизации
- как выбирать и формировать команду
- ключевые процессы, которые нужно сделать до начала проекта
- как настроить среду для работы
- и как выполнить сам проект с успешным финалом
Изучай python и автоматизацию на тестирования на python на http://lessons2.ru
Добиваемся эффективности каждого из 9000+ UI-тестовSQALabДоклад Максима Сахарова на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия
www.sqadays.com
Автоматическое тестирование Web apiIgor LyubinСовременный мир ускоряется, и от тестирования требуется быстрые и стабильные тесты. В этом мастер-классе предлагается уйти от UI автоматизации и перейти на уровень ниже "пирамиды тестирования", на уровень WEB API. Не обещаю теорию, но будет много практических кейсов. В качестве примера я возьму популярный веб сайт с открытым API и покажу как за относительно небольшое время можно создавать хорошие тесты! Причем тесты мы будем создавать совместно, и особых навыков программирования от участников здесь не потребуется, достаточно включить логику и желание освоить что-то новое.
DevOps в Agile среде. Как, почему и когда инструменты помогают.Alexander TitovМодное слово DevOps уже успело стать заезженным базвордом. Сотни компаний ищут DevOps инженеров, потому что искать системного администратора уже не модно. Я расскажу вам про свое понимание DevOps, как технические инструменты помогают делать Agile еще более гибким.
Мы разберем основные принципы DevOps через призму донесения смысла без потерь:
- Особая культура
- Автоматизация
- Изменения через измерения
- Распространение знаний и практик
Я поделюсь своим 5ти летним опытом в обеспечении повторяемости, мониторинге, логировании с примерами из реальной жизни.
Александр Титов - управляющий партнер в компании "Экспресс 42", мы внедряем DevOps практики и инструменты, помогаем эксплуатировать интернет-проекты.
В 2009, 2010 годах был техническим директором первого облачного хостинга в России Скалакси.
В 2010 - 2012 прошел увлекательный путь поглощений вместе с компанией Qik - путь из эксплуатации быстрорастущего стартапа к эксплуатации в крупной международной компании Microsoft.
Инструменты автоматизации тестирования - дефективныеSQALabПрезентация Дмитрия Химиона на SQA Days-16
14-15 ноября 2014, Санкт-Петербург, Россия
www.sqadays.com
Mykyta Krychko "When simple TRUE / FALSE is not enough. Analyzing test result...FwdaysEvlampiy is responsible for testing in the company. And today, he has dropped 60% of all tests.
Onufriy is a performance specialist 90% of his tests ceased to comply with the SLA, and the overall system began to behave abnormally.
Their tests covered almost all critical cases. And they are annoyed that the tests began to return a negative result, and this can be seen on the beautiful dashboard, which shows only red circles and numbers. The dashboard doesn't show them cause and effect.
Now they need to manually examine gigabytes of data to get to the bottom of the truth that the developers did nothing.
We will consider the R language as an additional tool for analyzing big data in a simple manner. Let's run a demo of the main functions.
Let's show the capabilities of the language:
to create complex visualizations
to create simple APIs
to create web applications
The audience will be able to see that understanding specialized languages is not as difficult as it seems. They will also see that creating a complex data analysis program is not more complicated than "Hello world." In the end, we will demonstrate the ability of the language to create complex web applications for data analysis using the example of analyzing the results of load tests for JMeter's logs.
20 апреля, DEV {highload} - конференция о Highload веб-разработке, "Инженерны...IT-Portfolio20 апреля DEV {highload} - конференция о Highload веб-разработке, "Инженерный дзен. DevOps на практике", Александр Титов (DevOps-эксперт "Экспресс 42")
Аннотация
Разработать программное обеспечение в веб-индустрии - это еще не все, надо его еще выкатить в производственное окружение и при этом не разочаровать пользователей. Обычно этот процесс происходит раз в месяц или две недели и сопровождается стрессом для всех участников, а часто заканчивается очень неприятной процедурой отката изменений, далеко не всегда безболезненной.
Проведем параллель с эволюцией в природе, разве там происходит так? Что-то меняется слишком резко и происходит откат? Нет, природа плавно меняет себя, делая небольшие изменения и пропуская их через проверку временем.
Инженерам, работающим в сфере программного обеспечения, дан уникальный шанс, они могут вносить изменения в работающий продукт каждый день, но для этого надо выполнить несколько условий:
- наладить в команде доверительные отношения;
- постоянно интегрировать продукт в тестовой среде;
- поддерживать непрерывный контекст при интеграции;
- использовать подходящие инструменты для управления конфигурацией и деплоя.
Доклад будет про то, как подобрать подходящие инструменты и процессы для работы и начать регулярно выкатывать ваш продукт. В мире принято такие практики называть DevOps.
Биография
Совладелец компании по внедрению DevOps-инструментов и процессов "Экспресс 42". Александр был техническим директором первого облака в России "Оверсан-Скалакси", потом руководил отделом системного администрирования в компании Скайп, подготовил инфраструктуру для запуска проекта видеосообщений.
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"YandexАртём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"
Первый Я.Субботник в Санкт-Петербурге
23. Не забываем
• Приватная информация
• Тесты и статус сборки
• История изменений и
документация
• Совместимость и конфликты
• Синхронизация с платформой
• Лицензия
24. Как это делаем мы
• GitHub
• Travis CI
• Rubocop + Foodcritic
• Test Kitchen + Digital Ocean
• Serverspec
• Chef Supermarket
• Slack