Оптимизация – стоимость владенияАнастасия МасенкоТема: Компания Кодерлайн провела вебинар на тему «Оптимизация – стоимость владения»
Вебинар будет интересен руководители IT-подразделений, IT-специалисты, заинтересованные лица
Ведущий: Александр ЛОГАЧЕВ
Описание:
На вебинаре поговорим об оптимизации запросов и кода
Программа вебинара:
1. Запросы – использование индексов, оптимизация архитектуры
2. РЛС – влияние на производительность
3. Ответы на вопросы
Будем благодарны за ваши отзывы :)
СУБД 2013 Лекция №8 "Конфигурирование базы данных"TechnoparkТехнопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №8 "Конфигурирование базы данных". Лектор - Павел Щербинин.
Сначала объясняются основы конфигурирования и общие принципы настройки. Далее рассказывается об области видимости, о настройке использования памяти, обсуждается размер блока ключей key_cache_block_size. Рассматривается устройство и использование кэша InnoDB, а также кэшей потоков и таблиц. Затем говорится об особенностях ввода/вывода в InnoDB. Далее рассказывается о табличном пространстве, оптимизации файловой сортировки, переменных состояния. Финальная часть лекции посвящена репликации: настройка, синхронизация, топология, планирование пропускной способности, администрирование и обслуживание, проблемы и их решения.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
Konstantin Krivlenia - "Continuous integration for frontend"IT EventDo you want to know what is the continuous integration? how does make a controlled code when team is growing, maintain quality of code and be calm after the release. Don't be afraid to use ruthless refactoring and don't break the product features. I am glad to share with you how it make.
Архитектура. Доступноять программных систем.Dima DzubaВ лекции рассматриваются тактики по обнаружению сбоев в программных системах и по устранению аварийных ситуаций.
Массовые операции над письмами в Яндекс.Почте — Денис КутуковYandexОперации над письмами (пометка спамовым, удаление или перемещение) — неотъемлемая часть почтового сервиса, которая создает заметную нагрузку на бэкенд и может сильно увеличить время отклика системы. В докладе я расскажу, как эволюционировал наш модуль операций над письмами, как мы сделали его асинхронным, на какие грабли мы наступили с Zookeeper’ом и какие выводы сделали.
Moscow Exchange Test Automation of a Backup System at TMPA-2014 (Trading Syst...Iosif ItkinTools & Methods of Program Analysis (TMPA-2014)
Conference in Kostroma, November 14-15
Рассмотрена задача автоматизации тестирования программного комплекса с двухуровневым резервированием. Предложен подход на основе описания комплекса как системы конечных автоматов, тогда тестовые сценарии есть пути на графе переходов конечного автомата. На основе этого подхода создано инструментальное средство, позволяющее находить всевозможные пути графа (возможные сценарии осуществления переходов, порождающие управляющие bash-скрипты в операционной системе Linux). Предусмотрено исполнение порожденных скриптов в рамках инфраструктуры автоматизированного тестирования. Инструментальное средство позволяет проверить исправность работы системы резервирования
Administrarea DSpaceNatalia CheradiSeminarul Internaţional „Implementarea tehnologiei IR (repozitorii instituţionale): Sistemul DSpace”, 14-15 aprilie 2011. Chişinău, Ambasada Regală a Norvegiei în România, Asociaţia Bibliotecarilor din Republica Moldova, Consorţiul REM, Programul EIFL-OA, Biblioteca Ştiinţifică a Academiei de Studii Economice din Moldova. Instructor: Kuzma KUDIM, Institutul Sisteme Software al Academiei de Ştiinţe din Kiev, Ucraina.
Delphix Dynamic Data Platform, как попробовать и правильно оценить решениеSergii StukanНе смотря на то, что Delphix Dynamic Data Platform широко используется с комплексными бизнес-платформами от таких производителей как SAP, Oracle, Microsoft, IBM и многих других.Попробовать ее и оценить, как она может положительно повлиять нетолько на ИТ но и на весь бизнес вашей компании довольно просто. В презентации кратко описан подход Efficient IT к проведению Proof of Value Delphix Dynamic Data Platform.
Setarea DSpaceNatalia CheradiSeminarul Internaţional „Implementarea tehnologiei IR (repozitorii instituţionale): Sistemul DSpace”, 14-15 aprilie 2011. Chişinău, Ambasada Regală a Norvegiei în România, Asociaţia Bibliotecarilor din Republica Moldova, Consorţiul REM, Programul EIFL-OA, Biblioteca Ştiinţifică a Academiei de Studii Economice din Moldova. Instructor: Kuzma KUDIM, Institutul Sisteme Software al Academiei de Ştiinţe din Kiev, Ucraina.
Symantec Backup Exec 2014 vs. Acronis Backup And Recovery 11.5hdablinКраткий список преимуществ Symantec Backup Exec 2014 по сравнению с Acronis Backup and Recovery 11.5
Instalarea DSpaceNatalia CheradiSeminarul Internaţional „Implementarea tehnologiei IR (repozitorii instituţionale): Sistemul DSpace”, 14-15 aprilie 2011. Chişinău, Ambasada Regală a Norvegiei în România, Asociaţia Bibliotecarilor din Republica Moldova, Consorţiul REM, Programul EIFL-OA, Biblioteca Ştiinţifică a Academiei de Studii Economice din Moldova. Instructor: Kuzma KUDIM, Institutul Sisteme Software al Academiei de Ştiinţe din Kiev, Ucraina.
TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesIosif ItkinMulti-Platform Approach to Reverse Debugging of Virtual Machines
Pavel Dovgalyuk, Maria Klimushenkova, Denis Dmitriev and Vladimir Makarov, Novgorod State University
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)OnticoВ дата-центрах нашей компании несколько тысяч серверов, и примерно на половине из них нужно выкладывать PHP-код 2 раза в день. Помимо раскладки на production также не стоит забывать о том, что код нужен на стейджинге, и в стейджинг-кластер у нас входит около 50 машин, код на которых обновляется раз в несколько минут. Также есть «хотфиксы» — небольшие (1-5) наборы файлов, которые выкладываются во внеочередном порядке на все или на выделенную часть серверов, чтобы устранить существующие проблемы на продакшне, не дожидаясь полной выкладки.
В этом докладе я расскажу о том, как мы деплоились в течение 10 лет, о том, какую новую систему для деплоя PHP-кода мы разработали и внедрили в production, а также проведу обзор решений для масштабного деплоя кода на PHP и анализ их производительности.
План доклада:
— Наша старая система деплоя, достоинства и недостатки.
— Существующие решения:
* "svn up" / "git pull".
* rsync.
* phar, hhbc (HHVM-specific), "loop".
* rsync + 2 директории + realpath_root (Rasmus-style).
— Требования для новой системы деплоя.
* быстрый деплой на стейджинг (5-10 секунд на 50 серверов).
* возможность атомарно патчить несколько файлов и быстро их выкладывать (10 секунд на весь кластер).
* совместимость с docker.
* поддержка «долгоиграющих» CLI-скриптов (несколько часов).
* низкое потребление ресурсов на принимающей стороне.
* отсутствие необходимости сбрасывать opcache.
* высокая скорость деплоя на продакшн (1-2 минуты на 1500 серверов).
— MDK — multiversion deployment kit.
— Анализ применимости и производительности способов деплоя.
— Выводы.
Архитектура. Доступноять программных систем.Dima DzubaВ лекции рассматриваются тактики по обнаружению сбоев в программных системах и по устранению аварийных ситуаций.
Массовые операции над письмами в Яндекс.Почте — Денис КутуковYandexОперации над письмами (пометка спамовым, удаление или перемещение) — неотъемлемая часть почтового сервиса, которая создает заметную нагрузку на бэкенд и может сильно увеличить время отклика системы. В докладе я расскажу, как эволюционировал наш модуль операций над письмами, как мы сделали его асинхронным, на какие грабли мы наступили с Zookeeper’ом и какие выводы сделали.
Moscow Exchange Test Automation of a Backup System at TMPA-2014 (Trading Syst...Iosif ItkinTools & Methods of Program Analysis (TMPA-2014)
Conference in Kostroma, November 14-15
Рассмотрена задача автоматизации тестирования программного комплекса с двухуровневым резервированием. Предложен подход на основе описания комплекса как системы конечных автоматов, тогда тестовые сценарии есть пути на графе переходов конечного автомата. На основе этого подхода создано инструментальное средство, позволяющее находить всевозможные пути графа (возможные сценарии осуществления переходов, порождающие управляющие bash-скрипты в операционной системе Linux). Предусмотрено исполнение порожденных скриптов в рамках инфраструктуры автоматизированного тестирования. Инструментальное средство позволяет проверить исправность работы системы резервирования
Administrarea DSpaceNatalia CheradiSeminarul Internaţional „Implementarea tehnologiei IR (repozitorii instituţionale): Sistemul DSpace”, 14-15 aprilie 2011. Chişinău, Ambasada Regală a Norvegiei în România, Asociaţia Bibliotecarilor din Republica Moldova, Consorţiul REM, Programul EIFL-OA, Biblioteca Ştiinţifică a Academiei de Studii Economice din Moldova. Instructor: Kuzma KUDIM, Institutul Sisteme Software al Academiei de Ştiinţe din Kiev, Ucraina.
Delphix Dynamic Data Platform, как попробовать и правильно оценить решениеSergii StukanНе смотря на то, что Delphix Dynamic Data Platform широко используется с комплексными бизнес-платформами от таких производителей как SAP, Oracle, Microsoft, IBM и многих других.Попробовать ее и оценить, как она может положительно повлиять нетолько на ИТ но и на весь бизнес вашей компании довольно просто. В презентации кратко описан подход Efficient IT к проведению Proof of Value Delphix Dynamic Data Platform.
Setarea DSpaceNatalia CheradiSeminarul Internaţional „Implementarea tehnologiei IR (repozitorii instituţionale): Sistemul DSpace”, 14-15 aprilie 2011. Chişinău, Ambasada Regală a Norvegiei în România, Asociaţia Bibliotecarilor din Republica Moldova, Consorţiul REM, Programul EIFL-OA, Biblioteca Ştiinţifică a Academiei de Studii Economice din Moldova. Instructor: Kuzma KUDIM, Institutul Sisteme Software al Academiei de Ştiinţe din Kiev, Ucraina.
Symantec Backup Exec 2014 vs. Acronis Backup And Recovery 11.5hdablinКраткий список преимуществ Symantec Backup Exec 2014 по сравнению с Acronis Backup and Recovery 11.5
Instalarea DSpaceNatalia CheradiSeminarul Internaţional „Implementarea tehnologiei IR (repozitorii instituţionale): Sistemul DSpace”, 14-15 aprilie 2011. Chişinău, Ambasada Regală a Norvegiei în România, Asociaţia Bibliotecarilor din Republica Moldova, Consorţiul REM, Programul EIFL-OA, Biblioteca Ştiinţifică a Academiei de Studii Economice din Moldova. Instructor: Kuzma KUDIM, Institutul Sisteme Software al Academiei de Ştiinţe din Kiev, Ucraina.
TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual MachinesIosif ItkinMulti-Platform Approach to Reverse Debugging of Virtual Machines
Pavel Dovgalyuk, Maria Klimushenkova, Denis Dmitriev and Vladimir Makarov, Novgorod State University
12 - 14 November 2015
Tools and Methods of Program Analysis in St. Petersburg
5 способов деплоя PHP-кода в условиях хайлоада / Юрий Насретдинов (Badoo)OnticoВ дата-центрах нашей компании несколько тысяч серверов, и примерно на половине из них нужно выкладывать PHP-код 2 раза в день. Помимо раскладки на production также не стоит забывать о том, что код нужен на стейджинге, и в стейджинг-кластер у нас входит около 50 машин, код на которых обновляется раз в несколько минут. Также есть «хотфиксы» — небольшие (1-5) наборы файлов, которые выкладываются во внеочередном порядке на все или на выделенную часть серверов, чтобы устранить существующие проблемы на продакшне, не дожидаясь полной выкладки.
В этом докладе я расскажу о том, как мы деплоились в течение 10 лет, о том, какую новую систему для деплоя PHP-кода мы разработали и внедрили в production, а также проведу обзор решений для масштабного деплоя кода на PHP и анализ их производительности.
План доклада:
— Наша старая система деплоя, достоинства и недостатки.
— Существующие решения:
* "svn up" / "git pull".
* rsync.
* phar, hhbc (HHVM-specific), "loop".
* rsync + 2 директории + realpath_root (Rasmus-style).
— Требования для новой системы деплоя.
* быстрый деплой на стейджинг (5-10 секунд на 50 серверов).
* возможность атомарно патчить несколько файлов и быстро их выкладывать (10 секунд на весь кластер).
* совместимость с docker.
* поддержка «долгоиграющих» CLI-скриптов (несколько часов).
* низкое потребление ресурсов на принимающей стороне.
* отсутствие необходимости сбрасывать opcache.
* высокая скорость деплоя на продакшн (1-2 минуты на 1500 серверов).
— MDK — multiversion deployment kit.
— Анализ применимости и производительности способов деплоя.
— Выводы.
Анализ и оценка систем адресации данных в современных ЭВМSergey GerasimovЧасть операционной системы, которая «отвечает» за корректное хранение данных и предоставление доступа к ним пользователю и прикладным программам
Порядок, определяющий способ организации, хранения и именования данных на носителях информации ИТ-оборудования
Система адресации данных является одной из самых существенных составных частей файловой системы. Именно система адресации позволяет находить нужный файл среди множества как пустых, так и занятых блоков на диске.
Спасение 6 миллионов файлов в условиях полного ХецнераDaniel PodolskyИли почему складывать файлы в базу данных – не такая смешная идея, как кажется на первый взгляд
СУБД 2013 Лекция №9 "Безопасность баз данных"TechnoparkТехнопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №9 "Безопасность баз данных". Лектор - Павел Щербинин.
Открывается лекция рассказом о резервном копировании (о логических и физических резервных копиях, о выборе данных для копирования). Затем определяется терминология для обсуждения дальнейших вопросов. После этого рассматриваются основы учётных записей: таблицы доступа, привилегии, виды записей. Обсуждаются SQL-injection, список смежных вершин (Adjacency Set), вложенное множество (Nested Set), материализованный путь (Materialized Path) и комбинированный подход.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
Выжимаем из сервера максимум (Андрей Паньгин)Ontico
лабораторная работа №1
1. Лабораторная работа №1
1. Запуск и остановка экземпляра и базы данных
а) Выполнить остановку экземпляра, к которому имеются пользовательские подключения:
Бригады Вариант
1,2,3,4 В режиме по умолчанию
5,6,7,8 В режиме immediate
9,10,11,12 В режиме transactional
б) Выполнить запуск экземпляра, в следующей последовательности:
Бригады Вариант
1,4,7,10 В состояние nomount, затем open
2,6,8,11 В состояние mount, затем open read only,
затем open read write
3,5,9,12 В состояние open restrict, затем в состояние
допускающее подключение пользователей
На каждом шаге из представлений v$database и v$instance получить информацию о
состоянии экземпляра и базы данных.
в) Привести фрагменты журнала событий, соответствующие выполненным операциям в
пунктах шагах а) и б).
2. Получение информации о глобальной области оперативной памяти экземпляра
Получить размер (из фиксированных представлений) и значение соответствующего
параметра инициализации для следующих областей:
Бригады Вариант
1,3,5,7 Разделяемый пул, большой пул
2,4,9,11 SGA, кэш данных
6,8,10,12 Буфер журнала, разделяемый пул
Получить описание соответствующих параметров инициализации (см п.3.1 указаний).
3. Получение информации об областях памяти процессов
Получить суммарный размер области памяти для:
Бригады Вариант
1,8,9 фоновых процессов, объем памяти -
максимально выделенный
2,7,10 серверных процессов, объем памяти
-используемый в настоящий момент
3,6,11 фоновых процессов, объем памяти
-выделенный в настоящий момент
4,5,12 серверных процессов, объем памяти -
максимально выделенный
2. 4. Работа с сеансами
а) Получить следующую информацию о сеансах:
Идентификатор сеанса (пара sid,serial#),имя пользователя, время входа
(to_char(logon_time,’hh24:mi:ss’)), название приложения, объем занимаемой памяти для:
Бригады Вариант
1,2,7,8 Четырех сеансов, по два под двумя разными
пользователями
3,4,11,12 Четырех сеансов под одним и тем же
пользователем
5,6,9,10 Четырех сеансов, по одному под четырьмя
разными пользователями
б) Выполнить отключение этих сеансов, привести общее количество сеансов до и после
отключения
5. Получение информации о файлах и табличных пространствах
а) Получить следующую информацию:
Бригады Вариант
1,5,7,10 Путь к файлу данных, размер в килобайтах,
тип табличного пространства
2,4,9,11 Название табличного пространства, его тип,
размер в мегабайтах
6,8,10,12 Название табличного пространства, номер
файла, входящего в него
б) Получить список оперативных журналов: номер, путь к файлу, состояние
Контрольные вопросы на защиту:
1. Экземпляр и состояния, в которых он и база данных могут находиться.
2. Опции запуска и остановки экземпляра
3. Инициализационные параметры, классификация
4. Процессы экземпляра, отличие между фоновыми и серверными процессами
5. Основные фоновые процессы, их название и назначение
6. Структура системной глобальной области памяти SGA
7. Область памяти процессов и сеансов (PGA,UGA)
8. Обработка клиентских подключений в режиме выделенного и разделяемого
сервера, отличия.
9. Соотношение между количеством клиентских подключений и числом процессов
экземпляра.
10. Основные операции с пользовательскими подключениями, выполняемые
администратором.
11. Получение информации о структуре базы данных
12. Журнал событий и его назначение
13. Основные возможности утилиты SQL*PLUS