ݺߣ

ݺߣShare a Scribd company logo

Вебинар: Введение в машинное обучение

•
•
FlyElephant
FlyElephant

Презентация с вебинара "Введение в машинное обучение"

1 of 38
Downloaded 22 times
Введение в машинное обучение Дмитрий Сподарец d.spodarets@flyelephant.net
Обо мне • Основатель FlyElephant и GeeksLab • Преподаватель в ОНПУ
Содержание • История искусственного интеллекта • Машинное обучение: определение • Инструменты для решения задач ML • Классификация задач машинного обучения • FlyElephant
История искусственного интеллекта • Появление предпосылок AI (1943 – 1955) • Теста Тьюринга (1950) • Рождение AI (1956) / Дартмутский семинар (Термин AI и формулировки основных задач) Его организовали Джон Маккарти (John McCarthy), Марвин Мински (Marvin Minsky), Клод Шеннон (Claude Shennon) и Натаниэль Рочестер (Nathaniel Rochester). • Нейронные сети - (1958) • Превращение AI в индустрию (1980 – …) • Превращение AI в науку (1987 – …) • Доступность больших баз данных (2001 – …)
Машинное обучение: определение • Машинное обучение — обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться. ru.wikipedia.org
Машинное обучение: определение • Машинное обучение — процесс, в результате которого машина (компьютер) способна показывать поведение, которое в нее не было явно заложено (запрограммировано). A.L. Samuel
Суть машинногообучения Обучающаяся программа Примеры данных с закономерностями Модель закономерности Поиск закономерностей в новых данных
Сферы приложения • Компьютерное зрение (computer vision) • Распознавание речи (speech recognition) • Компьютерная лингвистика и обработка естественных языков (natural language processing) • Медицинская диагностика • Биоинформатика • Техническая диагностика • Финансовые приложения • Информационный поиск • …
Аппарат • Линейная алгебра • Теория вероятностей и математическая статистика • Методы оптимизации • Численные методы • Математический анализ • Дискретная математика • и др.
Инструменты для решения задач ML
Классификация задач машинного обучения • Дедуктивное обучение (экспертные системы) • Индуктивное обучение (≈ статистическое обучение) • Обучение с учителем • Обучение без учителя • Обучение с подкреплением (reinforcement learning) • Активное обучение • . . .
Дедуктивное или аналитическое обучение (экспертные системы) • Имеются знания, сформулированные экспертом и как-то формализованные. • Программа выводит из этих правил конкретные факты и новые правила.
Примеры экспертных систем • WolframAlpha • IBM Watson
Индуктивное обучение (≈ статистическое обучение) • Обучение с учителем • Обучение без учителя
Обучение с учителем • Обучаем машину на примерах (данные + требуемое решение) • Алгоритм сохраняет «значение» о примерах во внутренней математической модели • Предсказываем новые данные, используя обученную модель Основная суть: обучая машину на исходных данных и зная ответ для этих данных, получить ответ для новых данных.
Обучение без учителя • Загружаем в машину какой-то набор данных • Машина может самостоятельно проанализировать загруженные данные и сгруппировать их или предложить вам набор инсайтов Основная суть: не зная ответ совсем - получаем ответ.
Основные типы задач • Обучение с учителем • Классификация • Регрессия • Обучение без учителя • Кластеризация • Определение выбросов • Гибридные • Коллаборативная фильтрация (рекомендации)
Классификация
Примеры задач классификации • Медицинская диагностика: по набору медицинских характеристик требуется поставить диагноз • Геологоразведка: по данным зондирования почв определить наличие полезных ископаемых • Оптическое распознавание текстов: по отсканированному изображению текста определить цепочку символов, его формирующих • Кредитный скоринг: по анкете заемщика принять решение о выдаче/отказе кредита • Синтез химических соединений: по параметрам химических элементов спрогнозировать свойства получаемого соединения
Регрессия
Линейная регрессия data <- read.csv('~/git/R-Linear-Regression/rosn.txt', sep='t') fit <- lm(data$ROSN ~ data$BRN ) plot(data$ROSN~data$BRN, xlab="ROSN", ylab="BRN") abline(fit) summary(fit) http://www.algorithmist.ru/2011/04/linear-regression-with-examples-in-r.html
Вебинар: Введение в машинное обучение
Примеры задач регрессии • Оценка стоимости недвижимости: по характеристике района, экологической обстановке, транспортной связности оценить стоимость жилья • Прогноз свойств соединений: по параметрам химических элементов спрогнозировать температуру плавления, электропроводность, теплоемкость получаемого соединения • Медицина: по постоперационным показателям оценить время заживления органа • Кредитный скоринг: по анкете заемщика оценить величину кредитного лимита • Инженерное дело: по техническим характеристикам автомобиля и режиму езды спрогнозировать расход топлива
Кластеризация
Примеры задач кластерного анализа • Экономическая география: по физико-географическим и экономическим показателям разбить страны мира на группы схожих по экономическому положению государств • Финансовая сфера: по сводкам банковских операций выявить группы «подозрительных», нетипичных банков, сгуппировать остальные по степени близости проводимой стратегии • Маркетинг: по результатам маркетинговых исследований среди множества потребителей выделить характерные группы по степени интереса к продвигаемому продукту • Социология: по результатам социологических опросов выявить группы общественных проблем, вызывающих схожую реакцию у общества, а также характерные фокус-группы населения
Идентификация
Примеры задач идентификации • Медицинская диагностика: по набору медицинских характеристик требуется установить наличие/отсутствие конкретного заболевания • Системы безопасности: по камерам наблюдения в подъезде идентифицировать жильца дома • Банковское дело: определить подлинность подписи на чеке • Обработка изображений: выделить участки с изображениями лиц на фотографии • Искусствоведение: по характеристикам произведения (картины, музыки, текста) определить, является ли его автором тот или иной автор
Прогнозирование
Примеры задач прогнозирования • Биржевое дело: прогнозирование биржевых индексов и котировок • Системы управления: прогноз показателей работы реактора по данным телеметрии • Экономика: прогноз цен на недвижимость • Демография: прогноз изменения численности различных социальных групп в конкретном ареале • Гидрометеорология: прогноз геомагнитной активности
Извлечение знаний
Примеры задач извлечения знаний • Медицина: поиск взаимосвязей (синдромов) между различными показателями при фиксированной болезни • Социология: определение факторов, влияющих на победу на выборах • Генная инженерия: выявление связанных участков генома • Научные исследования: получение новых знаний об исследуемом процессе • Биржевое дело: определение закономерностей между различными биржевыми показателями
Онлайн курсы/лекции • https://yandexdataschool.ru/edu-process/courses/machine-learning • https://www.coursera.org/learn/introduction-machine-learning • https://www.coursera.org/learn/machine-learning • https://www.youtube.com/watch?v=qLBkB4sMztk • https://www.udacity.com/course/machine-learning-engineer- nanodegree--nd009
The Home of High Performance Computing Compute / Manage data / Collaborate http://www.flyelephant.net/
DEMO
Предстоящие вебинары и конференции • Introduction to FlyElephant platform / January 22 at 16:00 (Kiev) / Webinar language - Russian. • Introduction to FlyElephant platform / January 26 at 11:00 am ( San Francisco) / Webinar language - English. • AI&BigData Lab / June 4 - Odessa
www.flyelephant.net 100 $ 127575063277
FlyElephant Beta Testing Program http://flyelephant.net/beta/ Free access Use new features first To help make FlyElephant better
Вопросы??? Дмитрий Сподарец d.spodarets@flyelephant.net

More Related Content

Вебинар: Введение в машинное обучение

  • 1. Введение в машинное обучение Дмитрий Сподарец d.spodarets@flyelephant.net
  • 2. Обо мне • Основатель FlyElephant и GeeksLab • Преподаватель в ОНПУ
  • 3. Содержание • История искусственного интеллекта • Машинное обучение: определение • Инструменты для решения задач ML • Классификация задач машинного обучения • FlyElephant
  • 4. История искусственного интеллекта • Появление предпосылок AI (1943 – 1955) • Теста Тьюринга (1950) • Рождение AI (1956) / Дартмутский семинар (Термин AI и формулировки основных задач) Его организовали Джон Маккарти (John McCarthy), Марвин Мински (Marvin Minsky), Клод Шеннон (Claude Shennon) и Натаниэль Рочестер (Nathaniel Rochester). • Нейронные сети - (1958) • Превращение AI в индустрию (1980 – …) • Превращение AI в науку (1987 – …) • Доступность больших баз данных (2001 – …)
  • 5. Машинное обучение: определение • Машинное обучение — обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться. ru.wikipedia.org
  • 6. Машинное обучение: определение • Машинное обучение — процесс, в результате которого машина (компьютер) способна показывать поведение, которое в нее не было явно заложено (запрограммировано). A.L. Samuel
  • 7. Суть машинногообучения Обучающаяся программа Примеры данных с закономерностями Модель закономерности Поиск закономерностей в новых данных
  • 8. Сферы приложения • Компьютерное зрение (computer vision) • Распознавание речи (speech recognition) • Компьютерная лингвистика и обработка естественных языков (natural language processing) • Медицинская диагностика • Биоинформатика • Техническая диагностика • Финансовые приложения • Информационный поиск • …
  • 9. Аппарат • Линейная алгебра • Теория вероятностей и математическая статистика • Методы оптимизации • Численные методы • Математический анализ • Дискретная математика • и др.
  • 11. Классификация задач машинного обучения • Дедуктивное обучение (экспертные системы) • Индуктивное обучение (≈ статистическое обучение) • Обучение с учителем • Обучение без учителя • Обучение с подкреплением (reinforcement learning) • Активное обучение • . . .
  • 12. Дедуктивное или аналитическое обучение (экспертные системы) • Имеются знания, сформулированные экспертом и как-то формализованные. • Программа выводит из этих правил конкретные факты и новые правила.
  • 14. Индуктивное обучение (≈ статистическое обучение) • Обучение с учителем • Обучение без учителя
  • 15. Обучение с учителем • Обучаем машину на примерах (данные + требуемое решение) • Алгоритм сохраняет «значение» о примерах во внутренней математической модели • Предсказываем новые данные, используя обученную модель Основная суть: обучая машину на исходных данных и зная ответ для этих данных, получить ответ для новых данных.
  • 16. Обучение без учителя • Загружаем в машину какой-то набор данных • Машина может самостоятельно проанализировать загруженные данные и сгруппировать их или предложить вам набор инсайтов Основная суть: не зная ответ совсем - получаем ответ.
  • 17. Основные типы задач • Обучение с учителем • Классификация • Регрессия • Обучение без учителя • Кластеризация • Определение выбросов • Гибридные • Коллаборативная фильтрация (рекомендации)
  • 19. Примеры задач классификации • Медицинская диагностика: по набору медицинских характеристик требуется поставить диагноз • Геологоразведка: по данным зондирования почв определить наличие полезных ископаемых • Оптическое распознавание текстов: по отсканированному изображению текста определить цепочку символов, его формирующих • Кредитный скоринг: по анкете заемщика принять решение о выдаче/отказе кредита • Синтез химических соединений: по параметрам химических элементов спрогнозировать свойства получаемого соединения
  • 21. Линейная регрессия data <- read.csv('~/git/R-Linear-Regression/rosn.txt', sep='t') fit <- lm(data$ROSN ~ data$BRN ) plot(data$ROSN~data$BRN, xlab="ROSN", ylab="BRN") abline(fit) summary(fit) http://www.algorithmist.ru/2011/04/linear-regression-with-examples-in-r.html
  • 23. Примеры задач регрессии • Оценка стоимости недвижимости: по характеристике района, экологической обстановке, транспортной связности оценить стоимость жилья • Прогноз свойств соединений: по параметрам химических элементов спрогнозировать температуру плавления, электропроводность, теплоемкость получаемого соединения • Медицина: по постоперационным показателям оценить время заживления органа • Кредитный скоринг: по анкете заемщика оценить величину кредитного лимита • Инженерное дело: по техническим характеристикам автомобиля и режиму езды спрогнозировать расход топлива
  • 25. Примеры задач кластерного анализа • Экономическая география: по физико-географическим и экономическим показателям разбить страны мира на группы схожих по экономическому положению государств • Финансовая сфера: по сводкам банковских операций выявить группы «подозрительных», нетипичных банков, сгуппировать остальные по степени близости проводимой стратегии • Маркетинг: по результатам маркетинговых исследований среди множества потребителей выделить характерные группы по степени интереса к продвигаемому продукту • Социология: по результатам социологических опросов выявить группы общественных проблем, вызывающих схожую реакцию у общества, а также характерные фокус-группы населения
  • 27. Примеры задач идентификации • Медицинская диагностика: по набору медицинских характеристик требуется установить наличие/отсутствие конкретного заболевания • Системы безопасности: по камерам наблюдения в подъезде идентифицировать жильца дома • Банковское дело: определить подлинность подписи на чеке • Обработка изображений: выделить участки с изображениями лиц на фотографии • Искусствоведение: по характеристикам произведения (картины, музыки, текста) определить, является ли его автором тот или иной автор
  • 29. Примеры задач прогнозирования • Биржевое дело: прогнозирование биржевых индексов и котировок • Системы управления: прогноз показателей работы реактора по данным телеметрии • Экономика: прогноз цен на недвижимость • Демография: прогноз изменения численности различных социальных групп в конкретном ареале • Гидрометеорология: прогноз геомагнитной активности
  • 31. Примеры задач извлечения знаний • Медицина: поиск взаимосвязей (синдромов) между различными показателями при фиксированной болезни • Социология: определение факторов, влияющих на победу на выборах • Генная инженерия: выявление связанных участков генома • Научные исследования: получение новых знаний об исследуемом процессе • Биржевое дело: определение закономерностей между различными биржевыми показателями
  • 32. Онлайн курсы/лекции • https://yandexdataschool.ru/edu-process/courses/machine-learning • https://www.coursera.org/learn/introduction-machine-learning • https://www.coursera.org/learn/machine-learning • https://www.youtube.com/watch?v=qLBkB4sMztk • https://www.udacity.com/course/machine-learning-engineer- nanodegree--nd009
  • 33. The Home of High Performance Computing Compute / Manage data / Collaborate http://www.flyelephant.net/
  • 34. DEMO
  • 35. Предстоящие вебинары и конференции • Introduction to FlyElephant platform / January 22 at 16:00 (Kiev) / Webinar language - Russian. • Introduction to FlyElephant platform / January 26 at 11:00 am ( San Francisco) / Webinar language - English. • AI&BigData Lab / June 4 - Odessa
  • 37. FlyElephant Beta Testing Program http://flyelephant.net/beta/ Free access Use new features first To help make FlyElephant better