PaperFriday: SAVOIAS: A Diverse, Multi-Category Visual Complexity Dataset
- 1. SAVOIAS: A Diverse, Multi-Category Visual Complexity Dataset Elham Saraee Mona Jalal Margrit Betke 社内論文読み会 Paper Friday Dec. 07, 2018 Kazuhiro Ota 1
- 2. Contributions of this paper 1. Visual Complexity 解析のためのデータセットである SAVOIAS を構築 ○ 様々なトピックをカバーし、各トピックにおいて十分な量の画像を提供 ○ 7カテゴリ、計1,420画像 2. クラウドソーシングによって Ground-truth ラベルを取得 ○ Visual Complexity についてどちらがより複雑かの二者選択式で 37,000ペアの画像に対して 1,687 人のワーカーから回答を収集 ○ さらに Bradley-Terry 法で相対スコアから絶対スコアに変換 3. データセットのそれぞれのカテゴリにおいて、5つの SOTA なアルゴリズムの応用 性を調査し、それらの性能差についてレポート ○ カテゴリごとに特化したテクニックを新開発する必要性を強調する結果となった 2
- 3. なぜ読んだか 最近の業務で ● 広告クリエイティブの素材画像 ● CDN 画像配信における画像品質評価?自動最適化 ● クラウドソーシング などに関わっている身としては、画像の複雑性についてクラウドソーシングでワーカーか ら回答集めた論文とのことで参考にしてみたい。 WACV 2019 採択。 3
- 4. ● 精神物理学、認知心理学、製品設計など、様々 な分野にまたがる歴史ある幅広い概念 ● Visual Complexity を分析することは人間がど のように画像を知覚するかの評価を容易にする ● 画像の複雑度?詳細度、画像説明の困難度 ● 視覚的乱雑性、画像情報量 Visual Complexity 4
- 6. Related Work Visual Complexity に注目した既存のデータセットもあるが ● 枚数?カテゴリのバリエーションが少ない ● ワーカーからの回答をそのまま利用している ● オープンデータセットになってない ● スコアのレンジが狭い などなどの制限が。 6
- 7. SAVOIAS https://github.com/esaraee/Savoias-Dataset Acronym for ● Scenes ● Advertisement ● Visualization and Infographics ● Objects ● Interior design ● Art ● Suprematism （抽象絵画） 名前の由来はイタリア最大規模の塩田 Margherita di Savoia らしい 7
- 8. Sample images from Savoias dataset with increased visual complexity from left to right 8
- 9. 9
- 10. Image Collection: Advertisements ● 200枚 ● from “Automatic Understanding of Image and Video Advertisements” ● テキストの量?サイズ、ブランドロゴの重要性 ● Visual Complexity について影響を与える要因を見極める能力をデザイナーに 10
- 11. Image Collection: Objects ● 200枚 ● from “MS COCO dataset” ● 様々な物体とその数や組み合わせは人間の Visual Complexity の知覚にどのよう に影響を与えるのか 11
- 12. Image Collection: Scene ● 200枚 ● from “Place 2 dataset” ● 人間が様々なシーンにおける Visual Complexity をどのように感じ取るのか ● 画像における前景?背景の役割の研究を容易に 12
- 13. Image Collection: Interior Design ● 100枚 ● from “IKEA website” ● 寝室、リビング、ダイニングルーム、キッチン、バスルーム ● 人間は家屋空間における Visual Complexity をどのように知覚するのか 13
- 14. Image Collection: Visualization and Infographics ● 200枚 ● from “MASSViS dataset” ● チャート、グラフ、テキスト、表 ● それぞれの要素の影響と構成を理解し、可視化法に対する知覚的処理やそれらの デザインによる情報の記憶力や理解度に対する影響を理解する 14
- 15. Image Collection: Art ● 420枚 ● from “PeopleArt dataset” ● Naturalism、Cubism、Social Realism、Impressionism ● アート作品の Visual Complexity を理解することは芸術家がより精力的な芸術作 品を制作する手助けになる 15
- 16. Image Collection: Suprematism ● 100枚 ● from “Suprematism category in the PeopleArt dataset” ● 様々な幾何学的形状と抽象的なオブジェクト ● これらの図形やオブジェクトおよびその構図が Visual Complexity の認識に及ぼす 影響 16
- 17. Dataset Groundtruthing ● Visual Complexity に対する絶対的なランキングスコアを付与したい ● しかし、ほとんどの人間は一度には5?9のレンジでしか評価できないことが示され ている ○ さらに評価スケールの偏りもあるらしい ○ G. A. Miller. The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychological review, 63(2):81, 1956. ● 代替手段として、まずは一対比較（Pairwise Comparison）を行い、そこでの結果を 全体ランキングに変換するという段階を踏む 17
- 18. Crowd Sourcing methodlogy by Figure-Eight A と B でどちらがより複雑かを選ばせ る二者選択（forced-choice）形式で出 題 ● 1件5人 ● 1ページ10件出題 ● Level3 Contributor ● 1人300件まで（下限はなし） ● 地理的制限はなし ● $0.10 ● TestQuestion 90% 以上正解 18
- 19. Pairwise Comparison Algorithm 画像を1対1で比較することで、それぞれの Visual Complexity の知覚差を反映したラン ク付けを行う。評価スケールのバイアスを軽減するのにも役立つ。 ちなみに の画像があったとしたら、ペアの組み合わせは となる。ただ、これら全ペアについて比較せずとも、 で全体ランキングを得ることは可能である。 H. Chang, F. Yu, J. Wang, D. Ashley, and A. Finkelstein. Automatic Triage for a Photo Series. ACM Transactions on Graphics, 35(4):148:1–148:10, 2016 19
- 20. Pairwise Ranking versus Global Ranking Bradley-Terry 法 一対比較結果行列: 画像 i の絶対スコア: 画像 i が画像 j より複雑として選ばれた確率を絶対 スコアの差の関数として 下式をMAP問題として解くことで全体スコア を得る。 得られた部分的な一対比較結果から画像1枚に対する絶対的な全体 ランキングを導出する。 手法は下記の2種類: ● Bradley-Terry 法 ● Matrix Completion 法 2手法の正しさを検証するためにそれぞれの手法における 最終的な全体スコア値の相関をとってみたところ 全カテゴリにおいて0.98以上だった。 このあとの Results では Bradley-Terry 法による 結果を述べる。 ちなみに各カテゴリごとで集めたペア数は以下の通り: ● Scenes, Advertisement, Visualization, Objects: 4,000 ペア ● Interior design: 2,000 ペア ● Art: 14,700 ペア ● Suprematism: 4,950 ペア（100枚なので全ペア） 20
- 21. Distribution of absolute visual complexity scores per categorry スケーリングを施してはいるがいい感じに分散した形となった 21
- 22. Results on the Groundtruthing Methodology Overall satisfaction score クラウドソーシングに対するワーカーの満足度。 5点満点で下記の事項について調査し、全体平均は4.2。 ● instruction score ● test questions fair ● ease of job ● pay 22
- 23. Results on the Groundtruthing Methodology Validity of partial matrix versus full matrix comparison ペア数?が全体スコアにどのように影響してくるのか。 全ペアについての一対比較行列を持っている Suprematism カテゴリを利用し、 ペア数?によって全体スコアとの相関がどう変化しているのかを確認。 2,000ペアあれば0.96の強い相関が出る。 十分少ないペア数でもそれなりなのは 他のカテゴリでも同様なのではと仮説。 23
- 24. Baseline Results ● 画像特徴を抽出する5つの SOTA なアルゴリズムを用いて各カテゴリごとに Goundtruthing された Visual Complexity との相関を確認 ○ Edge Density ■ R. Rosenholtz, Y. Li, and L. Nakano. Measuring Visual Clutter. Journal of vision, 7(2):17, 2007. ○ Compression Ratio ■ S. Corchs, F. Gasparini, and R. Schettini. No reference image quality classification for jpeg-distorted images. Digital Signal Processing, 30:86–100, 2014. ○ Number of Regions ■ D. Comaniciu and P. Meer. Mean shift: A robust approach toward feature space analysis. IEEE Transactions on pattern analysis and machine intelligence, 24(5):603–619, 2002. ○ Feature Congestion ■ R. Rosenholtz, Y. Li, and L. Nakano. Measuring Visual Clutter. Journal of vision, 7(2):17, 2007. ○ Subband Entoropy ■ R. Rosenholtz, Y. Li, and L. Nakano. Measuring Visual Clutter. Journal of vision, 7(2):17, 2007. 24
- 25. Baseline Results ● Objects, Scenes, Ads. においては0.6以上の相関を出したアルゴリズムはない ○ より洗練されたアルゴリズムの必要性 ● カテゴリごとに高いパフォーマンスを発揮するアルゴリズムは異なる ○ 各カテゴリの幅広い特性に起因していると考えられる 25
- 26. Discussion ● 今回試したアルゴリズムにとって Suprematism カテゴリにあるような幾何学的模 様、テクスチャ、パターンなどの low-level な特徴は、人間が簡単に認識できる物 体?人物の特徴よりも把握しやすい ● Suprematism カテゴリの幾つかの画像はかなり複雑かそうでないかに2極化してお り、クラウドワーカーもその点について区別できているが、その他の画像について は細かな違いの把握が難しく、”ease of job” が低めの結果となった 26
- 27. （再掲）Contributions of this paper 1. Visual Complexity 解析のためのデータセットである SAVOIAS を構築 ○ 様々なトピックをカバーし、各トピックにおいて十分な量の画像を提供 ○ 7カテゴリ、計1,420画像 2. クラウドソーシングによって Ground-truth ラベルを取得 ○ Visual Complexity についてどちらがより複雑かの二者選択式で 37,000ペアの画像に対して 1,687 人のワーカーから回答を収集 ○ さらに Bradley-Terry 法で相対スコアから絶対スコアに変換 3. データセットのそれぞれのカテゴリにおいて、5つの SOTA なアルゴリズムの応用 性を調査し、それらの性能差についてレポート ○ カテゴリごとに特化したテクニックを新開発する必要性を強調する結果となった 27
- 28. SAVOIAS: A Diverse, Multi-Category Visual Complexity Dataset おしまい Paper Friday Dec. 07, 2018 Kazuhiro Ota 28