More Related Content
What's hot (13)
Viewers also liked (9)
Similar to М. Коробов "Машинное обучение на фронте и в тылу", DUMP-2014 (20)
More from it-people (20)
М. Коробов "Машинное обучение на фронте и в тылу", DUMP-2014
- 1. Машинное обучение в ScrapingHub Михаил Коробов, DUMP 2014
- 3. Задачи • Скачать веб-странички; • из HTML вытащить информацию.
- 4. Примеры • цены и продукты • названия и контакты организаций • категории товаров • … • места дислокации батальонов в WWI • энергопотребление вентиляторов
- 6. Подходы • Правила (xpath, css, regex) - Scrapy • …
- 7. Сложные случаи • 100000 сайтов, все разные • сайт один, но информация - в обычном тексте • объединение информации из разных источников • хочется «накликать» мышкой, что извлекать, и не писать код
- 9. 100k сайтов; узнать, какие веб-студии их делали
- 10. Классификация ссылок • текст ссылки • текст в title • текст до ссылки • target=_blank • …
- 11. Учет нескольких факторов • AND: 15*x1 + 15*x2 > 20 • OR: 15*x1 + 15*x2 > 10 ! • z = sum(wi*xi) • P = f(z)
- 12. Подбор правил (весов) • вручную • автоматически: SVM (без ядра), Logistic Regression
- 13. Подход • для каждой ссылки выделить признаки • перевести признаки в цифры (получить вектор x) • для каждой ссылки передать в библиотеку x и метку (ссылка на веб-студию: да/нет) • библиотека подберет веса
- 14. Подход (предсказание) • для каждой ссылки выделить признаки • перевести признаки в цифры (получить вектор x) • для каждой ссылки передать в библиотеку x • библиотека вернет метку (веб-студия/нет)
- 15. Тонкости • Переобучение • Регуляризация • Подбор параметров классификатора • Кросс-валидация
- 17. Поиск именованных сущностей (NER) есть 100k сайтов, нужно узнать: • название организации • ее адреса • телефоны • факсы • время работы • URL-ы форм обратной связи • размещенные вакансии • способы подачи заявки на работу • …
- 18. US Address <ORG> <STREET> <CITY> <ZIPCODE> <COUNTRY> tel: <TEL>, fax: <FAX>
- 19. Правила - сложные и работают не очень хорошо • части необязательны • встречаются в разных местах страницы • сокращения • перестановки • названия организаций не проверишь по словарю • …
- 20. Название организации • подстрока веб-страницы • несколько токенов, идущих подряд
- 21. Contact:O Us:O ScrapingHub:B-ORG Inc.:I-ORG Copyright:O 2014:O BIO-кодирование
- 22. O I-ORG B-ORG … I-ORG I-STREET B-CITY
- 23. CRF • обычно 1 порядка • максимизирует вероятность всей цепочки, а не тегов для отдельных токенов • реализации: Wapiti, CRFsuite
- 24. Подход • Выделяем из HTML текст • разбиваем его на токены • тренировочные данные: каждому токену сопоставляем тег в BIO кодировке • для каждого токена определяем характерные признаки • передаем все в библиотеку для тренировки
- 25. Примеры признаков (фич) • сам токен • предыдущий токен • с заглавной буквы? • по регекспу похож на телефон • часть названия города и GeoNames (начало, середина?) • HTML-элемент, в котором лежит токен • первый или последний токен в HTML элементе? • word2vec
- 26. Разметка тренировочных данных • WebAnnotator (https://addons.mozilla.org/en-US/ firefox/addon/webannotator/) • GATE (https://gate.ac.uk/)
- 27. WebStruct github.com/scrapinghub/webstruct • загрузка данных • токенизация с сохранением информации о позиции в HTML • конвертация в BIO и обратно • интерфейсы к CRF • работа с GeoNames • метрики • группировка сущностей • …