解説: a semantic approach to recommending text advertisements for images
3 likes1,252 views
A Semantic Approach to Recommending Text Advertisements for Images - http://wanlab.poly.edu/recsys12/recsys/p179.pdf を解説しました。
![ビジュアル?コンテンツ?ターゲット広告の問題点
既存の?手法その1
?? 画像アノテーション
ターゲット画像が与えられると、ラベリングされた画像で訓練したモデルでアノテー
ションを抽出。
抽出したアノテーションを使ってレコメンド広告を取り出す。
アノテーション≒ ?テキスト?コンテンツ?ターゲットのキーワード
[問題点]
?? 時間がかかる
?? アノテーションの品質が保証されない](https://image.slidesharecdn.com/asemanticapproachtorecommendingtext-150225045737-conversion-gate02/85/a-semantic-approach-to-recommending-text-advertisements-for-images-5-320.jpg)
![ビジュアル?コンテンツ?ターゲット広告の問題点
既存の?手法その2
?? ViCAD
最先端のビジュアル?コンテンツ広告アルゴリズム。
画像特徴空間とテキスト特徴空間をブリッジする特徴転換モデルをつくる。
各広告候補とテキストとの関連性を?言語モデルで推定する。
http://www.aaai.org/ocs/index.php/AAAI/AAAI10/paper/viewFile/1757/2203
? [問題点]
?? 画像アノテーションよりは良良いパフォーマンス
?? 商?用で使えるほどの精确さは出せない。](https://image.slidesharecdn.com/asemanticapproachtorecommendingtext-150225045737-conversion-gate02/85/a-semantic-approach-to-recommending-text-advertisements-for-images-6-320.jpg)
More Related Content
Similar to 解説: a semantic approach to recommending text advertisements for images (6)
解説: a semantic approach to recommending text advertisements for images
- 1. 解説: A SEMANTIC APPROACH TO RECOMMENDING TEXT ADVERTISEMENTS FOR IMAGES 画像に対する広告レコメンドのセマンティック?アプローチ
- 2. このスライドについて このスライドは A Semantic Approach to Recommending Text Advertisements for Images Weinan Zhang, Li Tian, Xinruo Sun, Haofen Wang, Yong Yu. Dept. of Computer Science and Engineering. Shanghai Jiao Tong University. を和訳?解説したものです。
- 3. この論文について ?? 著者: Weinan Zhang 上海交通大学→UCL所属。 研究分野はRTBやディスプレイ広告など。 この論文の他にも 「Optiomal Real-Time Bidding for Display Advertising」 などを発表。 ?? 論文: ACMのレコメンドシステムカンファレンス2012に提出された もの。 →?受賞はしていない。
- 4. 概要 最近のWebサイト ?? Facebook ?? Flickr 従来のコンテンツ?ターゲット広告(contextual target advertising)では、ユーザに訴求する広告を表?示できない。 ?大量量の画像と少しのテキスト
- 5. ビジュアル?コンテンツ?ターゲット広告の問題点 既存の?手法その1 ?? 画像アノテーション ターゲット画像が与えられると、ラベリングされた画像で訓練したモデルでアノテー ションを抽出。 抽出したアノテーションを使ってレコメンド広告を取り出す。 アノテーション≒ ?テキスト?コンテンツ?ターゲットのキーワード [問題点] ?? 時間がかかる ?? アノテーションの品質が保証されない
- 7. ビジュアル?コンテンツ?ターゲット広告の問題点 共通の問題 1. ?画像のタグと広告の分布が異異なる ? 左図Problem1 ? 「Pleurodont ?Agama」(イグアナの名 ? 前)に最適な広告は出せない。 2. ?意味的ミスマッチ ? 左図Problem2 ? 「Tiger」から ? 「Tiger ?Woods」や「Missouri ?Tigers ? ?Apparel」が出てきてしまう。
- 11. 1. セマンティックなビジュアルコンテンツ広告 1. ?マッピング テキストグラフ画像グラフ 画像を画像グラフにマッピング テキストをテキストグラフにマッピング
- 13. 1. セマンティックなビジュアルコンテンツ広告 クロス?ナレッジ?マッチング関数Μ Ψ: ?画像から画像グラフのノードへのマッピング Φ: ?広告からテキストグラフのノードへのマッピング
- 15. 2. ?定義 テキスト特徴空間 広告空間(А)と広告(а) 各広告はテキストの特徴ベクトルに対し、 ? ti: テキストの特徴 m: 特徴量 :аにおけるテキスト特徴tkの頻度 画像特徴空間 画像空間(Ι)と画像(ι) 各画像は画像特徴ベクトルに対し、 ? vi: 画像の特徴 n: 特徴量 :iにおける画像特徴vkの頻度
- 16. 2. ?定義 テキストナレッジグラフ Otはノード集合 Etはエッジ Ot: ノード Et: エッジ 画像ナレッジグラフ Ovはノード集合 Evはエッジ Ov: ノード Ev: エッジ
- 18. 3. ナレッジ?ベース ?テキスト?ナレッジベース ? → ?Wikipedia ?画像ナレッジベース ? → ?ImageNet/WordNet ?ブリッジ?ナレッジ ? → ?YAGO
- 21. 4. マッピング＆マッチング Φ???テキスト?マッピング関数 ? 広告の略略語などの特殊表現とWikipediaをマッチングするために ? ESAアルゴリズムを使?用。 ? ? → ?TFIDF重み付け ?× ?頻度度 ? ※ESA(Explicit ?Semantic ?Analysis)については下記参照 ? ? http://www.cs.technion.ac.il/~～gabr/resources/code/esa/esa.html 広告集合内における単語（フレーズ）の頻度度
- 22. 4. マッピング＆マッチング ψ???画像?マッピング関数 ? ImageNetの画像とカテゴリーの階層構造を訓練データとし、 ? 重?心法によるのコサイン類似関数θ(ι, ?оv)を使って近似値を得る。 ? → ?実験ではk=7, ?ω=0.6が良良いパフォーマンスだった。 ωは祖先ノードの重み ovの祖先
- 23. 4. マッピング＆マッチング Μ???クロス?ナレッジベース?マッチング関数 ? 2つの?方法を実験。 ? ?LOD ?Descroption ?Overlap(LODDO) ?リンクドオープンデータを使う ? ? http://rd.springer.com/chapter/10.1007/978-‐??3-‐??642-‐??29923-‐??0_?18#page-‐??1 ? ?Hierarchy-‐??based ?Matching ?階層型分類ベースのセマンティックマッチング
- 25. 5. アルゴリズムまとめ ?? オフラインプロセス： 1.? 広告とWikipediaのノードの関連度度を計算しておく。 2.? ESAにより広告から各ノードへの逆インデックスを構築。 ※検索索エンジンで?言うドキュメントからキーワードへのインデックス ?? オンラインプロセス： 1.? 対象画像をiとして、ImageNetのノードk を得るためにψ(i)をよぶ。 2.? YAGOでImageNetのノードと Wikipediaのノードをリンクする。 3.? Wikipediaノードにリンクされた広告 リストを取得する。L 4.? ΜでL内の広告と対象画像iの関連度度を計算する。 5.? 広告リストにランクをつける。
- 26. 実験 検証データ ?? 広告 2011/03にAOLで9,954,130回検索索を?行行って得た 1,607,688個の広告 ?? レコメンド対象画像 Flickrからランダムに選んだ230画像
- 27. 実験 ?比較したアルゴリズム ?? Annotation ?+ ?Search(AS) 画像アノテーション ?? Annotation ?+ ?Expansion ?+ ?Search(ASEx) 画像アノテーションセマンティック拡張 ?? ViCAD ※前述 ?? ImageAdSense(この論論?文の?手法) iAdSense-‐??LODDO ? iAdSenseでクロスナレッジマッチングにLODDOを使?用。 iAdSense-‐??Tree ? iAdSenseでクロスナレッジマッチングに階層型分類マッチを使?用。 iAdSense-‐??OneLayer? iAdSenseでクロスナレッジマッチングを使?用しない。
- 28. 実験 評価?方法 ?? 6?人の学?生に協?力力を依頼。 ?? 少なくとも2?人以上が「広告と画像に関連がある」と判定した場合 にカウント1、そうでない場合は0とする。 ?? 画像と広告のペアでスコア平均を取る。 ?? P@n(precision ?at ?position ?n)で評価。(nはtop-‐??n) πiは、対象画像とi番?目のレコメンド広告のペアの平均スコア
- 29. 結果 iAdSense-‐??OneLayerは他のiAdsenseに?比べて数値が低い → ?クロスナレッジマッチングが必要 ViCADはASより優れているがiAdSenseには劣劣る。 → ?画像のタグ中にノイズが多く、構?文マッチという意味ではASと同じ問題を抱えている。 iAdSense-‐??LODDO ?> ?ASEx ?16.4%↑ iAdSense-‐??LODDO ?> ?ViCAD ?20.7%↑