Система автоматизированного извлечения контактной информации об организации из неструктурированных данных о филиалах
- 1. Дипломная работа на тему: «Система автоматизированного извлечения контактной информации об организации из неструктурированных данных о филиалах» Руководитель: Горский К.П. Дипломник группы 08-606: Карпова В.А. МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)» (МАИ) Москва, 2015 г. 1
- 2. Актуальность системы • Организации нужны всё время 2 Поиск контактной информации о банках в течение недели
- 3. Основная цель • Показывать актуальную контактную информацию об организации в заголовке письма 3 По какому адресу банка поменять старую карту на новую?
- 4. Основная цель • Показывать актуальную контактную информацию об организации во входящем письме 4
- 5. Из Справочника Организаций Из Поиска 5 Входные данные
- 7. Ограничения сервисов • Справочник: Нельзя изменять информацию об организациях • Почта: Отображать одну строку между заголовком и телом письма 7
- 8. Корректность данных • «Простейший» алгоритм выбора 56 % 44 % Всего доменов с одной и более проблемами Доменов без проблем 8
- 11. MaxEnt-классификатор • Классификация по формуле: • Максимизация функции правдоподобия: 11
- 12. Оценка качества классификатора • Точность: • Полнота: • F-мера 12
- 13. Применение классификатора при выборе контактной информации по домену организации 13
- 14. Телефон 14
- 15. Название 15
- 16. 13 Адрес 16
- 17. Сравнение абсолютных значений параметров (до/после) 17 Адреса Телефоны Названия ИТОГО 0 550000 1100000 1650000 2200000 До применения новой схемы выбора После применения классификатора и схем выбора
- 18. Черные списки • Не все данные из Справочника Организаций - корректные • Не все организации хотят, чтобы видели их контактную информацию в почте • Агрегаторы • Почтовые рассылки 18
- 21. Технологии 21
- 22. Результаты 22 • API для Почтового интерфейса • Формирование Черных Списков, импорт новых данных и экспорт статического API происходит без участия разработчиков и администраторов. • Контактная информация об организациях отображается в заголовке письма веб- интерфейса Яндекс.Почты. • Система внедрена в промышленную эксплуатацию