Пакетирование для Debian/UbuntusamsolutionsbyАвтор - Дмитрий Бородаенко (Debian Project, ex-SaM Solutions Dept6 head). Краткий вводный курс по пакетированию программного обеспечения средствами Debian/Ubuntu. Прочитан в апреле 2012 года для сотрудников отдела Linux & Embedded SaM Solutions. Публикуется по договоренности с лектором.
Видео: http://bit.ly/13Tw24s
СУБД 2013 Лекция №8 "Конфигурирование базы данных"TechnoparkТехнопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №8 "Конфигурирование базы данных". Лектор - Павел Щербинин.
Сначала объясняются основы конфигурирования и общие принципы настройки. Далее рассказывается об области видимости, о настройке использования памяти, обсуждается размер блока ключей key_cache_block_size. Рассматривается устройство и использование кэша InnoDB, а также кэшей потоков и таблиц. Затем говорится об особенностях ввода/вывода в InnoDB. Далее рассказывается о табличном пространстве, оптимизации файловой сортировки, переменных состояния. Финальная часть лекции посвящена репликации: настройка, синхронизация, топология, планирование пропускной способности, администрирование и обслуживание, проблемы и их решения.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
Команды Ms dosНадежда ВласовецЗдесь выложены все команды старого MS-DOS! Иногда необходимо из под Windows запустить эмулятор MS-DOS для этого нужно нажать кнопку «Пуск» -> «Выполнить» -> «cmd» и мы увидим окно чёрное окно консоли командной строки где мы и запускаем эмулятор DOS командой command.com
Приемы, затрудняющие обнаружение и анализ вредоносного кода в PHP скриптахrevisiumКак хакеры и разработчики вредоносного кода затрудняют обнаружение и анализ кода в PHP скриптах.
Practical Python Packaging / Стас Рудаков / Web Developer WargamingPython MeetupРаспространено мнение, что навык пакетирования своих наработок необходим только гуру в Open Source. Стас развенчал этот миф и показал несколько практических задач, решаемых при помощи пакетирования кода.
Пакетирование для Debian/UbuntusamsolutionsbyАвтор - Дмитрий Бородаенко (Debian Project, ex-SaM Solutions Dept6 head). Краткий вводный курс по пакетированию программного обеспечения средствами Debian/Ubuntu. Прочитан в апреле 2012 года для сотрудников отдела Linux & Embedded SaM Solutions. Публикуется по договоренности с лектором.
Видео: http://bit.ly/13Tw24s
СУБД 2013 Лекция №8 "Конфигурирование базы данных"TechnoparkТехнопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №8 "Конфигурирование базы данных". Лектор - Павел Щербинин.
Сначала объясняются основы конфигурирования и общие принципы настройки. Далее рассказывается об области видимости, о настройке использования памяти, обсуждается размер блока ключей key_cache_block_size. Рассматривается устройство и использование кэша InnoDB, а также кэшей потоков и таблиц. Затем говорится об особенностях ввода/вывода в InnoDB. Далее рассказывается о табличном пространстве, оптимизации файловой сортировки, переменных состояния. Финальная часть лекции посвящена репликации: настройка, синхронизация, топология, планирование пропускной способности, администрирование и обслуживание, проблемы и их решения.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
Команды Ms dosНадежда ВласовецЗдесь выложены все команды старого MS-DOS! Иногда необходимо из под Windows запустить эмулятор MS-DOS для этого нужно нажать кнопку «Пуск» -> «Выполнить» -> «cmd» и мы увидим окно чёрное окно консоли командной строки где мы и запускаем эмулятор DOS командой command.com
Приемы, затрудняющие обнаружение и анализ вредоносного кода в PHP скриптахrevisiumКак хакеры и разработчики вредоносного кода затрудняют обнаружение и анализ кода в PHP скриптах.
Practical Python Packaging / Стас Рудаков / Web Developer WargamingPython MeetupРаспространено мнение, что навык пакетирования своих наработок необходим только гуру в Open Source. Стас развенчал этот миф и показал несколько практических задач, решаемых при помощи пакетирования кода.
2014.12.23 Александр Андреев, ParallelsNikolay SamokhvalovДоклад от Parallels:
Методики тестировния производительности database-centric приложений
Описание: При работе над сложными продуктами в database-centric приложениях изменения в коде и тем более в SQL запросах к базе данных могут приводить к неожиданным падениям производительности или же деградации производительности приложения с ростом размера базы данных. Поэтому важно уметь как можно быстрее отлавливать и исправлять причины таких деградаций.
Доклад о том, как устроен процесс мониторинга производительности продукта автоматизации хостинга и облачных сервисов Parallels Automation, для которого определяющим фактором является производительность базы данных.
Компания покажет, как анализирует планы исполнения SQL запросов внутри PostgreSQL, как проверяет насколько быстро и эффективно в целом работают SQL запросы, как определяет стратегию дальнейшей оптимизации.
Solaris OSSSA KPIAACIMP 2009 Summer School lecture by Andrii Rodionov (Sun Microsystems). "Information Technology" stream. Sun Microsystems course. Part 6.
2. 1 Working with text data
2 Search and process files with find
3 Package management system
Образовательный центр Парка высоких технологий 1
3. Текст в Unix
В Unix (и Linux) в виде обычного текста или plain text
представлены:
1
в каталоге $HOME
2
в каталоге /etc
3
справедливо для syslog и совместимых систем
Образовательный центр Парка высоких технологий 1
4. Текст в Unix
В Unix (и Linux) в виде обычного текста или plain text
представлены:
• конфигурационные файлы, как локальные1 , так и
общесистемные2
1
в каталоге $HOME
2
в каталоге /etc
3
справедливо для syslog и совместимых систем
Образовательный центр Парка высоких технологий 1
5. Текст в Unix
В Unix (и Linux) в виде обычного текста или plain text
представлены:
• конфигурационные файлы, как локальные1 , так и
общесистемные2
• системные логи3
• исходные тексты программ, включая скрипты на Shell
• основной формат ввода и (или) вывода данных для
множества программ и утилит
1
в каталоге $HOME
2
в каталоге /etc
3
справедливо для syslog и совместимых систем
Образовательный центр Парка высоких технологий 1
6. Текстовый фильтр
Определение:
Текстовый фильтр - программа, обрабатывающая и
преобразующая текст.
Пример: man | tac | rev
• Фильтр, запущенный без параметров - читает
стандартный ввод.
• Параметры фильтра - интерпретируются как имена
файлов
• Ключи фильтра - управляют режимами работы
Образовательный центр Парка высоких технологий 2
7. Текстовый фильтр
Определение:
Текстовый фильтр - программа, обрабатывающая и
преобразующая текст.
Пример: man | tac | rev
• Фильтр, запущенный без параметров - читает
стандартный ввод.
• Параметры фильтра - интерпретируются как имена
файлов
• Ключи фильтра - управляют режимами работы
Фильтр почти всегда используется совместно с
перенаправлением ввода-вывода Shell (особенно ʼ|ʼ, pipes).
cmd1 | cmd2
Образовательный центр Парка высоких технологий 2
8. Разбираем пример использования фильтров.
Cчитаем участников тренинга используя текстовые
фильтры.
1 cat / tmp / chat # посмотретьсодержимое
2 cat / tmp / chat | grep AM # строкисовременем AM
3 cat / tmp / chat | grep −e AM −e PM #
строкисовременем AM и PM
4 grep −e AM −e PM / tmp / chat | so r t # сортируем
5 grep −e AM −e PM / tmp / chat | so r t | cut −f 1 ,2
−d ʼ ʼ # оставитьимяфамилия
6 grep −e AM −e PM / tmp / chat | so r t | cut −f 1 ,2
−d ʼ ʼ | uniq # удалитьдубликаты
7 grep −e AM −e PM / tmp / chat | so r t | cut −f 1 ,2
−d ʼ ʼ | uniq | wc −l # считаемстроки
Образовательный центр Парка высоких технологий 3
9. Простые текстовые фильтры
Соглашения о параметрах: ʼ-ʼ как имя файла обозначает
стандартный ввод.
• cat и tac - вывести файл целиком
• head и tail - вывести начало и конец файла
• sort и uniq - сортировка и убрать повторы в
отсортированном
• paste - объединить файлы построчно
• wc - счётчик строк, слов и байт в тексте
• grep - поиск по образцу
Образовательный центр Парка высоких технологий 4
10. Метасимволы
grep, sed, awk
• . – любой символ за исключением пустой строки
• * – любоe количество символов, которые стоят перед *
• ^ – начало строки
• $ – конец строки
• [...] – любой символ из заключенных в скобки
Образовательный центр Парка высоких технологий 5
12. sed
Сценарии
[ addr [ , addr ] ] cmd [ args ]
Команды
• d – удалить строку
who | sed -e '10 d'
who | sed -e '2,4 d'
who | sed -e '/pts/ d'
• s – замена по регулярному выражению
who | sed -e "s/USER/user/g"
Образовательный центр Парка высоких технологий 7
13. awk
1 cat / etc / passwd | awk −F : ʼ { p r i n t $3 , $4 } ʼ
Образовательный центр Парка высоких технологий 8
14. 1 Working with text data
2 Search and process files with find
3 Package management system
Образовательный центр Парка высоких технологий 9
15. Файловая система. Данные и метаданные.
Упражнение. Выполнить команды.
Расскажите что получили.
cat /etc/passwd
stat /etc/passwd
Образовательный центр Парка высоких технологий 9
16. Файловая система. Данные и метаданные.
Упражнение. Выполнить команды.
Расскажите что получили.
cat /etc/passwd
stat /etc/passwd
Матаданные - информация о файле.
• Размер файла
• Владелец и права доступа
• Время доступа, изменения
Образовательный центр Парка высоких технологий 9
17. Поиск файлов командой find
find ищет файлы в заданной директории и производит над ним
заданную операцию.
Часто используемые параметры поиска
• -name, -iname – имя файлового объекта, включая
метасимволы
• -type – тип файлового объекта
• -size – размер [cwbkMG]
• -perm – права доступа
• -user – владелец
• ... – другие опции man find
Образовательный центр Парка высоких технологий 10
18. Файлы найдены
Действия над результом поиска
• -print – вывод на stdout (по умолчанию)
• -printf – форматированный вывод
• -exec – выполнить команду
• -ls – замена -exec ls -l {} ;
• -delete – удалить файл
Образовательный центр Парка высоких технологий 11
19. Примеры использования команды find
В текущей директории найти все файлы *.o и вывести на экран
find . -name '*.o' -print
find -name '*.o'
Поск по типу и владельцу файла.
find -type d -user altlinux
Составная команда, множество условий
find /root ( -name '*.pyc' -o -name '*.py' )
-type f -user root -size +300k -size -1024k
-exec ls -l {} ;
Дополнительно: позволяет преодолеть лимит на кол-во
аргументов в командной строке. “Arguments too long.”
Образовательный центр Парка высоких технологий 12
20. 1 Working with text data
2 Search and process files with find
3 Package management system
Образовательный центр Парка высоких технологий 13
21. Software installation
How to install software to computer? Please describe process step
by step.
Образовательный центр Парка высоких технологий 13
22. Software installation
How to install software to computer? Please describe process step
by step.
1 Find application
Образовательный центр Парка высоких технологий 13
23. Software installation
How to install software to computer? Please describe process step
by step.
1 Find application
2 Download installation package or source code
Образовательный центр Парка высоких технологий 13
24. Software installation
How to install software to computer? Please describe process step
by step.
1 Find application
2 Download installation package or source code
3 Run installer or complie
Package management system automates this process.
Образовательный центр Парка высоких технологий 13
25. Задачи системы управления пакетами.
• избежать Dependency hell
• Общие задачи пакетного менеджера:
• Проверка целостности пакетов
• Проверка зависимостей пакетов
• Поддержание списка установленных пакетов
• Автоматическое удаление пакетов
• Предоставление доступа к репозиторию пакетов
• Разрешение зависимостей
Образовательный центр Парка высоких технологий 14
26. Репозиторий
Репозиторий пакетов
Место, где хранятся и поддерживаются пакеты, а также
сопутствующая мета-информация, предназначенное для
использования пакетным менеджером.
Пример: Fedora Core
• Packages/*.rpm
• RPM-GPG-KEY-*
• repodata
• множество сжатых и несжатых XML файлов для YUM
Описание репозтория для YUM на локальной системе хранится
по пути /etc/yum.repos.d/*.repo
Образовательный центр Парка высоких технологий 15
27. RPM: структура пакета
• Метаданные
• Имя
• Версия/Релиз
• Группа
• Описание
• Зависимости
• ...
• Архив с файлами
• cpio
• Скрипты
• Pre Install
• Post Install
• Pre Uninstall
• Post Uninstall
• Triggers
Образовательный центр Парка высоких технологий 16
28. Два уровня пакетных менеджеров
Level RedHat-based Debian-based
Low rpm dpkg
High yum, dnf apt, aptitude
Низкоуровневые используются для установки, удаления,
получения информации о пакете.
Высокоуровневые предоставляют дополнительные функции
такие как поиск по репозиторию, копирование пакета из
репозитория, разрешение зависимостей, обновление системы.
Образовательный центр Парка высоких технологий 17
29. Команды пакетных менеджеров
Установка пакета
Debian apt-get install pkgname
CentOS yum install pkgname
Обновление пакета
Debian apt-get install pkgname
CentOS yum update pkgname
Удаление пакета
Debian apt-get remove pkgname
CentOS yum remove pkgname
Поиск. По имени пакета
Debian apt-cache search pkgname
CentOS yum list pkgname
Поиск. По строке.
Debian aptitude search '~dtmux'
CentOS yum whatprovides tmux
Образовательный центр Парка высоких технологий 18