ݺߣ

ݺߣShare a Scribd company logo
JULY 19, 2018
ALIAKSEI STATUT
Machine Learning with
Amazon SageMaker
2
• Алексей Статут
• Software Engineer
• Опыт работы более 3-х лет
• Стараюсь не зацикливаться на конкретных
технологиях
КТО Я?
3
О ЧЕМ ДОКЛАД?
Кратко о Machine Learning1
AWS SageMaker2
Личный опыт3
4
Машинное обучение (Machine Learning) — обширный подраздел искусственного
интеллекта, изучающий методы построения алгоритмов, способных обучаться, и их
применение.
5
ТИПЫ ЗАДАЧ
6
КЛАССИФИКАЦИЯ
7
ЗАДАЧА ВОССТАНОВЛЕНИЯ РЕГРЕССИИ
8
ЗАДАЧА КЛАСТЕРИЗАЦИИ (ОБУЧЕНИЯ БЕЗ
УЧИТЕЛЯ)
9
ЗАДАЧА ПРОГНОЗИРОВАНИЯ
10
ЭТАПЫ РАЗРАБОТКИ МОДЕЛИ
Сбор данных
Подготовка данных
Выбор модели и тренировка
Оценка и тонкая настройка
Использование
и улучшение
11
1. Малый объем обучающей выборки
2. Некорректность входных данных
3. Переобучение
ОСНОВНЫЕ ПРОБЛЕМЫ ML
12
AWS SageMaker - это управляемая платформа для быстрого и простого создания,
обучения и развертывания модели машинного обучения в любом масштабе.
13
1. Инструменты для сбора данных
2. Визуализация данных с Jupyter Notebook
3. Встроенные ML алгоритмы
4. Развертывание и A/B тестирование
5. Автомасштабирование
КАК AWS SAGEMAKER УПРОЩАЕТ ЖИЗНЬ?
14
ОСОБЕННОСТИ
End-to-end
платформа
машинного
обучения
Нулевая
настройка
Гибкая
тренировка
модели
Плата за время
15
Сбор данных
Подготовка данных
Выбор модели и тренировка
Оценка и тонкая настройка
Использование
и улучшение
- S3
- Redshift
- DynamoDB
- RDS
Jupyter Notebook
SageMaker
Training jobs
- Jupyter Notebook
- Hyperparameter tuning jobs
- Endpoints
- Cloudwatch
16
1. Notebook instances
2. Training jobs
3. Hyperparameter tuning jobs
4. Models
5. Endpoint configurations
6. Endpoints
КОМПОНЕНТЫ
17
ПОДГОТОВКА ДАННЫХ
18
ВИЗУАЛИЗАЦИЯ ДАННЫХ
19
1. С помощью SageMaker API
2. С помощью UI
– Выбрать алгоритм
– Определиться с размерами вычислительных мощностей
– Указать параметры алгоритма
– Задать источник данных (с Amazon S3)
– Запустить тренировку
СОЗДАНИЕ ТРЕНИРОВОЧНОГО ЗАДАНИЯ
20
1. Выбрать алгоритм
2. Выбрать диапазоны параметров
3. Выбрать метрику
4. Указать источник данных (Amazon S3)
5. Задать ограничение для вычислительных ресурсов
АВТОМАТИЧЕСКАЯ НАСТРОЙКА МОДЕЛИ
(HYPERPARAMETER TUNING)
21
1. Использование модели через HTTPS ресурс
2. Возможно сохранение пользовательских запросов для последующего улучшения
модели
3. Настройка A/B тестирования для ресурса
4. Автоматическое масштабирование
ИСПОЛЬЗОВАНИЕ МОДЕЛИ
22
1. Linear Learner
2. XGBoost Algorithm
3. Image Classification Algorithm
4. K-Means Algorithm
5. ...
6. + Возможность использовать свои
ВСТРОЕННЫЕ АЛГОРИТМЫ
23
1. AWS SageMaker SDK
2. Интеграция с Apache Spark
3. Гибкая настройка безопасности
4. Мониторинг
ДРУГИЕ ПОЛЕЗНЫЕ ВОЗМОЖНОСТИ
24
• Цена (https://aws.amazon.com/sagemaker/pricing)
НЕДОСТАТКИ
Кол-во часов в
месяц
Тип сервера
для
тренировки
Тип сервера
для хостинга
Стоимость часа Всего
4 ml.m4.xlarge $1.12 $4.48
24*31*3 = 2232 ml.t2.medium $0.065 $145.08
25
1. Задача: Предсказать CTR (Click through rate) для рекламных блока на странице
2. Параметры:
– Расположение блока
– Устройство пользователя
– Характеристики пользователя
– Характеристики рекламируемого товара
3. Результат: модель неудачная, ctr и параметры не имеют сильной зависимости
между собой
ЛИЧНЫЙ ОПЫТ
26
Вопросы?
27
Спасибо за внимание!
Ad

Recommended

TMPA-2013 Guriev: High Performance Load Generator
TMPA-2013 Guriev: High Performance Load Generator
Iosif Itkin
Машинное обучение для интеллектуализации ваших приложений
Машинное обучение для интеллектуализации ваших приложений
PAY2 YOU
Машинное обучение в электронной коммерции — практика использования и подводны...
Машинное обучение в электронной коммерции — практика использования и подводны...
Ontico
Машинное обучение в электронной коммерции - практика использования и подводны...
Машинное обучение в электронной коммерции - практика использования и подводны...
Ontico
Введение в Deep Learning
Введение в Deep Learning
Grigory Sapunov
Нейросетевое прогнозирование KPI в интернет маркетинге (СПИК - 2014)
Нейросетевое прогнозирование KPI в интернет маркетинге (СПИК - 2014)
Многопрофильный образовательный центр ЭДУКОР
Intro to Data Mining and Machine Learning
Intro to Data Mining and Machine Learning
Dmitrii Ignatov
Machine Learning as a Service
Machine Learning as a Service
elpisglobal
Runtime compilation and code execution in groovy
Runtime compilation and code execution in groovy
Vitebsk Miniq
The 5 Laws of Software Estimates
The 5 Laws of Software Estimates
Vitebsk Miniq
Latest & Greatest Observability Release 7.9
Latest & Greatest Observability Release 7.9
Vitebsk Miniq
Тестирование Spring-based приложений
Тестирование Spring-based приложений
Vitebsk Miniq
Семантический поиск - что это, как работает и чем отличается от просто поиска
Семантический поиск - что это, как работает и чем отличается от просто поиска
Vitebsk Miniq
Локализационное тестирование - это не только перевод
Локализационное тестирование - это не только перевод
Vitebsk Miniq
ISTQB Сертификация тестировщиков: быть или не быть?
ISTQB Сертификация тестировщиков: быть или не быть?
Vitebsk Miniq
Apollo GraphQL Federation
Apollo GraphQL Federation
Vitebsk Miniq
Who is a functional tester
Who is a functional tester
Vitebsk Miniq
Crawling healthy
Crawling healthy
Vitebsk Miniq
Вперед в прошлое
Вперед в прошлое
Vitebsk Miniq
CloudFormation experience
CloudFormation experience
Vitebsk Miniq
Learning Intelligence: the story of mine
Learning Intelligence: the story of mine
Vitebsk Miniq
Как программисты могут спасти мир
Как программисты могут спасти мир
Vitebsk Miniq
Использование AzureDevOps при разработке микросервисных приложений
Использование AzureDevOps при разработке микросервисных приложений
Vitebsk Miniq
Distributed tracing system in action. Instana Tracing.
Distributed tracing system in action. Instana Tracing.
Vitebsk Miniq
Насорил - убери!
Насорил - убери!
Vitebsk Miniq
Styled-components. Что? Когда? И зачем?
Styled-components. Что? Когда? И зачем?
Vitebsk Miniq
Красные флаги и розовые очки
Красные флаги и розовые очки
Vitebsk Miniq
CSS. Практика
CSS. Практика
Vitebsk Miniq

More Related Content

More from Vitebsk Miniq (20)

Runtime compilation and code execution in groovy
Runtime compilation and code execution in groovy
Vitebsk Miniq
The 5 Laws of Software Estimates
The 5 Laws of Software Estimates
Vitebsk Miniq
Latest & Greatest Observability Release 7.9
Latest & Greatest Observability Release 7.9
Vitebsk Miniq
Тестирование Spring-based приложений
Тестирование Spring-based приложений
Vitebsk Miniq
Семантический поиск - что это, как работает и чем отличается от просто поиска
Семантический поиск - что это, как работает и чем отличается от просто поиска
Vitebsk Miniq
Локализационное тестирование - это не только перевод
Локализационное тестирование - это не только перевод
Vitebsk Miniq
ISTQB Сертификация тестировщиков: быть или не быть?
ISTQB Сертификация тестировщиков: быть или не быть?
Vitebsk Miniq
Apollo GraphQL Federation
Apollo GraphQL Federation
Vitebsk Miniq
Who is a functional tester
Who is a functional tester
Vitebsk Miniq
Crawling healthy
Crawling healthy
Vitebsk Miniq
Вперед в прошлое
Вперед в прошлое
Vitebsk Miniq
CloudFormation experience
CloudFormation experience
Vitebsk Miniq
Learning Intelligence: the story of mine
Learning Intelligence: the story of mine
Vitebsk Miniq
Как программисты могут спасти мир
Как программисты могут спасти мир
Vitebsk Miniq
Использование AzureDevOps при разработке микросервисных приложений
Использование AzureDevOps при разработке микросервисных приложений
Vitebsk Miniq
Distributed tracing system in action. Instana Tracing.
Distributed tracing system in action. Instana Tracing.
Vitebsk Miniq
Насорил - убери!
Насорил - убери!
Vitebsk Miniq
Styled-components. Что? Когда? И зачем?
Styled-components. Что? Когда? И зачем?
Vitebsk Miniq
Красные флаги и розовые очки
Красные флаги и розовые очки
Vitebsk Miniq
CSS. Практика
CSS. Практика
Vitebsk Miniq
Runtime compilation and code execution in groovy
Runtime compilation and code execution in groovy
Vitebsk Miniq
The 5 Laws of Software Estimates
The 5 Laws of Software Estimates
Vitebsk Miniq
Latest & Greatest Observability Release 7.9
Latest & Greatest Observability Release 7.9
Vitebsk Miniq
Тестирование Spring-based приложений
Тестирование Spring-based приложений
Vitebsk Miniq
Семантический поиск - что это, как работает и чем отличается от просто поиска
Семантический поиск - что это, как работает и чем отличается от просто поиска
Vitebsk Miniq
Локализационное тестирование - это не только перевод
Локализационное тестирование - это не только перевод
Vitebsk Miniq
ISTQB Сертификация тестировщиков: быть или не быть?
ISTQB Сертификация тестировщиков: быть или не быть?
Vitebsk Miniq
Who is a functional tester
Who is a functional tester
Vitebsk Miniq
Вперед в прошлое
Вперед в прошлое
Vitebsk Miniq
Learning Intelligence: the story of mine
Learning Intelligence: the story of mine
Vitebsk Miniq
Как программисты могут спасти мир
Как программисты могут спасти мир
Vitebsk Miniq
Использование AzureDevOps при разработке микросервисных приложений
Использование AzureDevOps при разработке микросервисных приложений
Vitebsk Miniq
Distributed tracing system in action. Instana Tracing.
Distributed tracing system in action. Instana Tracing.
Vitebsk Miniq
Насорил - убери!
Насорил - убери!
Vitebsk Miniq
Styled-components. Что? Когда? И зачем?
Styled-components. Что? Когда? И зачем?
Vitebsk Miniq
Красные флаги и розовые очки
Красные флаги и розовые очки
Vitebsk Miniq

Machine Learning with Amazon SageMaker