![複雑なコンテキストを持つ画像を検索するために
画像内の物体やその関連性を利用するためにScene Graph [Johnson et al. 2015] に着目
6](https://image.slidesharecdn.com/paperfriday20210510image-to-imageretrievalbylearningsimilaritybetweenscenegraphs-210511043718/85/Image-to-Image-Retrieval-by-Learning-Similarity-between-Scene-Graphs-6-320.jpg)
![既存研究（Scene Graphの提案と検索応用）
検索対象画像中の物体のBBoxに対してクエリ
SceneGraphをCRFによって対応付けてその尤度
からMAP
● 大規模な画像検索には不向き
● 事前にBBoxを検出しておく必要あり
7
Image Retrieval using Scene Graphs [Johnson et al. 2015]](https://image.slidesharecdn.com/paperfriday20210510image-to-imageretrievalbylearningsimilaritybetweenscenegraphs-210511043718/85/Image-to-Image-Retrieval-by-Learning-Similarity-between-Scene-Graphs-7-320.jpg)
![提案手法: Image Retrieval with Scene Graph Similarity (IRSGS)
画像のScene GraphをGraph Neural NetworkでEmbeddingに変換しその類似度に基づいて検索
このGNNを学習することが提案手法の学習となる
9
Query Image Scene Graph
Graph Embedding
Similarity
Target Image
Graph Embedding
Scene Graph
GNNには下記の2種を利用
● Graph Convolutional Network [Kipf, 2016] (IRSGS-GCN)
● Graph Isomorphism Network [Xu, 2018] (IRSGS-GIN)](https://image.slidesharecdn.com/paperfriday20210510image-to-imageretrievalbylearningsimilaritybetweenscenegraphs-210511043718/85/Image-to-Image-Retrieval-by-Learning-Similarity-between-Scene-Graphs-9-320.jpg)
![提案手法: Image Retrieval with Scene Graph Similarity (IRSGS)
画像のScene GraphをGraph Neural NetworkでEmbeddingに変換しその類似度に基づいて検索
このGNNを学習することが提案手法の学習となる
10
Query Image Scene Graph
Graph Embedding
Similarity
Target Image
Graph Embedding
Scene Graph
Scene Graph生成には下記の手法（ pretrained）を利用
Bottom-up and top-down attention for image captioning
and visual question answering [Anderson et al. 2016]](https://image.slidesharecdn.com/paperfriday20210510image-to-imageretrievalbylearningsimilaritybetweenscenegraphs-210511043718/85/Image-to-Image-Retrieval-by-Learning-Similarity-between-Scene-Graphs-10-320.jpg)
![Experiments: Similarity Baselines for Retrieval
● 画像特徴量
○ ResNet-152
○ ResNet-152 (キャプション類似度で Fine Tune)
● キャプション生成
○ Soft attention model [Xu et al. 2015]
● 物体カウント
○ Scene Graphから物体数だけをカウントしてベクトル化
● Scene Graphの類似度
○ Gromov-Wasserstein Learning [Xu et al. 2019] [Xie et al. 2018]
○ Graph Matching Networks [Li et al. 2019]
14](https://image.slidesharecdn.com/paperfriday20210510image-to-imageretrievalbylearningsimilaritybetweenscenegraphs-210511043718/85/Image-to-Image-Retrieval-by-Learning-Similarity-between-Scene-Graphs-14-320.jpg)
社内論文読み会資料 Image-to-Image Retrieval by Learning Similarity between Scene Graphs
- 1. Image-to-Image Retrieval by Learning Similarity between Scene Graphs Sangwoong Yoon, Woo Young Kang, Sungwook Jeon, SeongEun Lee, Changjin Han, Jonghun Park, and Eun-Sol Kim 1 社内論文読み会 Paper Friday 20210510 Kazuhiro Ota
- 6. 複雑なコンテキストを持つ画像を検索するために 画像内の物体やその関連性を利用するためにScene Graph [Johnson et al. 2015] に着目 6
- 7. 既存研究（Scene Graphの提案と検索応用） 検索対象画像中の物体のBBoxに対してクエリ SceneGraphをCRFによって対応付けてその尤度 からMAP ● 大規模な画像検索には不向き ● 事前にBBoxを検出しておく必要あり 7 Image Retrieval using Scene Graphs [Johnson et al. 2015]
- 8. 提案手法: Image Retrieval with Scene Graph Similarity (IRSGS) 画像のScene GraphをGraph Neural NetworkでEmbeddingに変換しその類似度に基づいて検索 このGNNを学習することが提案手法の学習となる 8 Query Image Scene Graph Graph Embedding Similarity Target Image Graph Embedding Scene Graph
- 9. 提案手法: Image Retrieval with Scene Graph Similarity (IRSGS) 画像のScene GraphをGraph Neural NetworkでEmbeddingに変換しその類似度に基づいて検索 このGNNを学習することが提案手法の学習となる 9 Query Image Scene Graph Graph Embedding Similarity Target Image Graph Embedding Scene Graph GNNには下記の2種を利用 ● Graph Convolutional Network [Kipf, 2016] (IRSGS-GCN) ● Graph Isomorphism Network [Xu, 2018] (IRSGS-GIN)
- 10. 提案手法: Image Retrieval with Scene Graph Similarity (IRSGS) 画像のScene GraphをGraph Neural NetworkでEmbeddingに変換しその類似度に基づいて検索 このGNNを学習することが提案手法の学習となる 10 Query Image Scene Graph Graph Embedding Similarity Target Image Graph Embedding Scene Graph Scene Graph生成には下記の手法（ pretrained）を利用 Bottom-up and top-down attention for image captioning and visual question answering [Anderson et al. 2016]
- 12. IRSGS Training Overview 12 画像に付与されているキャプションの SBERT特徴量の類似度を教師情報として Graph Neural Networkを学習 SceneGraph生成とSBERTはpre-trained : trainable path
- 13. Experiments: Training Data ● VG-COCO ○ 下記のデータセットにおいて共通する画像 Train: 35,017枚, Test: 13,203枚 ■ Visual Genome ■ MS-COCO ○ ラベル ■ Scene Graph（Visual Genomから） ■ キャプション（MS-COCOから） ● Flickr30k ○ Train: 30,000枚, Test: 1,000枚 ○ ラベルはキャプションのみ 13
- 14. Experiments: Similarity Baselines for Retrieval ● 画像特徴量 ○ ResNet-152 ○ ResNet-152 (キャプション類似度で Fine Tune) ● キャプション生成 ○ Soft attention model [Xu et al. 2015] ● 物体カウント ○ Scene Graphから物体数だけをカウントしてベクトル化 ● Scene Graphの類似度 ○ Gromov-Wasserstein Learning [Xu et al. 2019] [Xie et al. 2018] ○ Graph Matching Networks [Li et al. 2019] 14
- 15. Experiments: Evaluation Metrics ● nDCG ○ 各比較手法で検索した際の DCG / 画像キャプション類似度で検索した際の DCG ● Human Agreement ○ 各比較手法による類似度判定と人間による類似判定との一致度合いを計算 ○ 全29名 ○ 詳しくは次ページから 15
- 16. Human Agreement 16 Query Image 1 Image 2 1. the first image is more similar to the query 2. the second image is more similar to the query 3. all three images are identical 4. the candidates as irrelevant それぞれを選択したアノテータの人数 各検索手法によって類似度が高いと選択 された画像の番号 アノテータの回答をもとに下式で Human Agreement Scoreを計算 アノテーション画面（イメージ）
- 17. Results on VG-COCO w/ human-annotated scene graphs 17 提案手法 （シーングラフ生成なし） ベースライン
- 18. Results on VG-COCO w/ machine-generated scene graphs 18 ベースライン 提案手法 （シーングラフ生成あり）
- 19. Results on Flicker30k w/ machine-generated scene graphs 19 ベースライン 提案手法 （シーングラフ生成あり）
- 22. Conclusion ● 複雑なコンテキストを持つ画像を検索するための、Scene Graph間の類似度を算出す るGraph Neural Networkに基づく手法を提案 ● 代理類似度として画像キャプション類似度を使って学習する手法も提案 22