�ݺ�ߣ

Построение формального
описания фотографий
на основе контекстно-
событийной онтологии
Савкуев Мурат, 425 группа

• "Context Correlation Using Probabilistic Semantics",
S.Rafatirad, K. Laskey, P. Costa, 8th International Conference on
SemanticTechnologies for Intelligence, Defense, and Security
(STIDS 2013), Nov 2013.
• "Transforming Personal Artifacts into Probabilistic Narratives",
S. Rafatirad and K. Laskey.The 29th International Conference on
Uncertainty in Artificial Intelligence, Jul 2013.
• "Contextual Augmentation of Ontology for Recognizing Sub-
Events", S. Rafatirad and R. Jain. The 5th IEEE International
Conference On Semantic Computing, Palo Alto, Sep 2011.
2

Формулировка задачи
• На вход подаётся набор фотографий, сопровождаемые
мета-данными (время съёмки, координаты, параметры
камеры)
• Дополнительно используются внешние источники сведений
об авторе
• Учитывая эти данные, найти лучшие возможные тэги
событий, соответствующие фотографии или группе
аналогичных фотографий
3

Примеры описания фотографий
(результат работы)
4

Преимущества рассматриваемого подхода
• Использование контекста данных из нескольких источников
может способствовать построению последовательной,
однозначной базы знаний.
• Достаточно гибкая структура, позволяющая выразить
контекстные атрибуты не только «зашитые» в события, но и
обнаруженные в ходе работы (в т. ч. из внешних источников)
5

Входные данные
•P – поток фотографий и метаданных.
•O (V, E) – контекстно-событийная онтология, где
V – классы событий
Е – отношения между узлами.
•В – набор внешних источников данных об авторе.
6

Вывод тегов
• S – наиболее релевантные подсобытия потока P. 𝑆 ⊆ 𝑉.
Элементы множества S – наиболее вероятные события для
группы контекстуально подобных фотографий
𝑃, 𝑂 𝑉, 𝐸 ⟶ 𝑆
• Для фотографии 𝑝 ∈ 𝑃, возможно группы аналогичных
фотографий 𝑐𝑗 ⊂ 𝑃 (получаем в результате кластеризации)
функция 𝑓 вычисляет меру правдоподобности 𝑚𝑖𝑗
𝑃
для
каждого «события – кандидата» 𝑠𝑖:
𝑓 𝑠𝑖, 𝑐𝑗 = 𝑚𝑖𝑗
𝑝
7

• В результате предыдущего шага нами получаем «черновик»
описания фотографии: наиболее релевантным событиям
𝑠𝑖∈ 𝑆 ставятся в соответствие теги событий 𝑡𝑖
𝑒
∈ 𝑇.
• Используя информацию В, расширяем T .
• ∀𝑖 𝑡𝑖
𝑒
∈ 𝑇 либо содержится в 𝑂, либо может быть получено из 𝑂
(тогда расширяем 𝑂 и получаем 𝑂𝑟)
8
Вывод тегов

Событийная онтология для категории
«Деловые поездки»
11

Модель представления описаний
Дескрипторы фотографий представляются в следующем виде:
𝑡𝑦𝑝𝑒 𝑑: 𝑣𝑎𝑙𝑢𝑒 𝑑, 𝑐𝑜𝑛𝑓𝑖𝑑𝑒𝑛𝑐𝑒 𝑑: 𝑣𝑎𝑙 , 𝑣𝑎𝑙 ∈ 0; 1
Пример: {sceneT ype : ‘indoor‘, confidence : 0.6}
«Sound cluster» d: для фотографии 𝑝𝑗 из потока P в d войдут те
фотографии из кластера с ( 𝑐 – размер кластера), которые содержат
все дескрипторы 𝑝𝑗
𝑐𝑜𝑛𝑓𝑖𝑑𝑒𝑛𝑐𝑒 𝑑 =
1
𝑐
× ෍ 𝑓(𝑝𝑗, 𝑑)
Наличие последовательности из набора дескрипторов является
обязательным условием для получения новых выводов.
12

Обработка дескрипторов
• “outdoorSeating: true”;
• “sceneType : outdoor”;
• “weatherCondition: storm”.
• 𝑜𝑢𝑡𝑑𝑜𝑜𝑟𝑆𝑒𝑎𝑡𝑖𝑛𝑔 ∧ 𝑜𝑢𝑡𝑑𝑜𝑜𝑟 → 𝑓𝑖𝑛𝑒𝑊𝑒𝑎𝑡ℎ𝑒𝑟
• 𝑓𝑖𝑛𝑒𝑊𝑒𝑎𝑡ℎ𝑒𝑟 → ¬ 𝑠𝑡𝑜𝑟𝑚
13

Пример расширения событийной
онтологии
14

Сравнение точности
U1 U2 U3 U4 U5
baseline 0,65 0,58 0,39 0,53 0,74
event ontology 0,41 0,17 0,3 0,48 0,17
proposed 0,74 0,83 0,95 0,92 0,88
16

�ݺ�ߣ

Савкуев. Построение формального описания фотографий на основе контекстно-событийной онтологии

Recommended

More Related Content

Viewers also liked (16)

More from Спецсеминар "Искусственный Интеллект" кафедры АЯ ВМК МГУ (10)

Савкуев. Построение формального описания фотографий на основе контекстно-событийной онтологии