狠狠撸

Data Engineering & Data Analytics WS #9, 20191107
広告クリエイティブ制作における
コンピュータビジョンとグラフィックデザイン
㈱サイバーエージェント
AI Lab 大田和寛
1

自己紹介
大田和寛
AI Lab Creative Research グループにて
インターネット広告制作のための研究開発に従事
最近は動画広告に対する実績予測や広告素材検索システムなど
好きな CV 技術は画風変換や画像生成?編集
好きな DNN フレームワークは PyTorch
@ciela
2

CyberAgent AI Lab
デジタルマーケティング領域の課題を解決する R&D 組織
直接の売り上げはないが、既存技術で解決できない課題を
解くための研究開発が目的
2019年11月現在16名所属
研究成果は積極的に外部発表、学術コミュニティへ貢献
https://cyberagent.ai/ailab/
3

AI Lab 研究トピックとそれぞれの分野
4
※部署がもともとアドテクをメインに事業を行っていたこともあり広告のための研究が主

AI Lab Creative Research
本日はデジタル広告のクリエイティブ画像制作に関して
我々が取り組んでいる課題、および関連技術や昨今の社
会的事例について広くざっくりとお話します
5

デジタル広告クリエイティブ
SNS などでよく出くわすインターネット広告に
表示されているテキスト?画像?動画などの制作物です
6

一般的な広告クリエイティブ制作過程
（SNS 上のインフィード広告を想定）
1. 訴求内容確定
2. 素材収集?レタッチ
3. レイアウトを決めて配置
4. 入稿?各メディアへ配信
7

デジタル広告はターゲティングによる個々人に向けた
配信が可能
8

広告クリエイティブ大量制作時代へ
9

10

最適なレイア
ウトの考慮?
膨大な素材集の
中から効果良さ
そうなものを選
定
クオリティを
維持しつつ
レタッチ?
n人にn通りのクリエイティブを配信でき
るのがデジタル広告の強みである一方
で、新しい広告のクリエイティブをどんど
ん制作していかないと見向いてもらえな
い事情も
1枚1枚に時間をかけられるなら問題な
いが、大量の制作となるとやっぱり大変
???
11

もはや執念
ビビッドアーミー広告とプレイした感想 - ビビッ
ドアーミー非公式wiki
同じゲームに対して何パターンものクリエイティブを制作
https://vivid-army.game-info.wiki/d/%A5%D3%A5%D3%A5%C3%A5%
C9%A5%A2%A1%BC%A5%DF%A1%BC%B9%AD%B9%F0%A4%C8
%A5%D7%A5%EC%A5%A4%A4%B7%A4%BF%B4%B6%C1%DB
12
https://twitter.com/daikai6/status/1189118540218953728

所謂 AI でなんとかしたい
● 配信効果の高いクリエイティブとそれ
に使われた素材知りたい?
?
● レタッチ作業自動化したい?
?
● クリエイティブ自動生成したい?
13

クリエイティブ制作に対する AI 的事例
Adobe Sensei 電通 AI MIRAI Tencent Ads
14

広告以外のグラフィックデザイン生成
Learning to Generate Posters of Scientific
Papers [Qiang, AAAI 2016]
論文をもとに発表用ポスターを生成
15
SketchCode
https://github.com/ashnkumar/sketch-code
手書きのワイヤーフレームから HTML を生成

機械学習を用いたデジタル広告制作?配信ソリューションの研究開発
クリック率などの広
告配信実績予測
広告の制作支援バナー広告の理解
))
より良い配信効率的な制作自動分析
16

))
17

クリック率 (CTR) の予測
このバナー画像はどれだけの人からクリックされますか？
? 単純な回帰問題に帰着
? 画像と広告配信設定を入力、クリック率を出力とす
る機械学習モデルを設計
? 広告配信前に品質評価、適切な入稿対象の選
択、結果の予測が可能に
? 18

DNN を利用したクリック率予測手法（DeepCTR）
Deep CTR Prediction in Display Advertising [Chen, ACM MM 2016]
配信設定に加えてクリエイティブ画像も入力とするようなモデルを構築
学習したモデルからは画像の何がクリックに効いたのかをピクセルレベルで可視化可能
19

テキストも利用した DeepCTR の提案
さらに配信メディアごとの差異も明らかに
深層学習によるFacebook広告のCTR予測
[岩崎, JSAI 2018]
テキストも含めてよりマルチモーダルに
20
ソーシャルメディア間の広告とクリックの傾向分析 [岩
崎, PRMU 2018]
画像、テキストの品質が重要
広告配信設定が重要
広告配信設定が重要

関連研究
21
マルチモーダル特徴を用いたオンライン広
告のクリック率予測とアテンションの解析
[夏, MIRU 2019]
? 入力画像のマルチパッチ切り出し
? Google Cloud Vision API を用いた
画像内テキストに対する OCR
による Deep CTR で精度改善
アテンション機構の導入による入力項目影
響の可視化
デザイナーが持つ審美眼のモデル化
[石川, MIRU 2019]
CTR 予測ではないが、制作されたバナー
画像の良し悪しを推定するモデルを作成
デザイナーによってラベル付された5,000
枚のバナー画像から学習

クリック率の予測
一般にクリック予測に最も効くのは広告配信設定項目
広告カテゴリ、ターゲティング情報などスパースなデータ
浅い機械学習モデルで実績予測可能
画像?動画?テキストといった高次元データを扱う場合はディープモ
デルを使う
22

))
23

広告の制作支援
人がクリエイティブ制作する作業をアシストするツール
機械学習でよりスマートに
?画風の編集
?手画像生成
?レイヤーの配置
24

適当に GAN でバナーを生成すると
pix2pix [Isola, CVPR 2017] で labeled layout から直
接画像生成した例
少しの artifact でもプロダクション利用は不可
25Layout Layout GeneratedGenerated GT GT

素材を利用した広告制作
既製の写真?CG などのストック素材集を利用した制作が主流
もちろん訴求対象商品などが存在する場合は広告主から素材を入手
26https://behance.net/ https://pixabay.com/

ストック素材に着目したデータセット
BAM! The Behance Artistic Media Dataset [Wilber, ICCV 2017]
27https://bam-dataset.org/
Behance からクローリングされたイラストや CG など、写真に留まら
ないメディア画像を理解するためのデータセット
クラウドソーシングによって画像に全 20種類の属性スコアが付与さ
れており、中には画像に対する感情属性も

ストック画像に対する感情情報を用いたレタッチ
Emotional Style Transfer for Stock Assets [Ota, CVPRW 2018]
BAM データセットの感情属性における Happy と Scary のスコア上位の画像群を用いて Image-to-Image を行う
ことで、画像に対して人が抱いた感情をもとに Style Transfer
28
Happy Scary
https://cyberagent.ai/research/archives/921
素材に対する意味的なレタッチガイドラインの提案を行える（画像
を怖くするにはシワを際立たせて彩度を落とす、逆に幸せそうに
するには明るくして草花のように彩色する等）
CycleGAN

把持画像のための手画像生成
化粧品やクレジットカードなど、何かを手にしている広告画像は多い
29
弊社スキルアップゼミでの成果
[大谷, 2019]

ポーズをボーンで指定することで手画像を GAN で生成
バナー画像用素材の生成、素材探し、撮影の手間を削減
JS 製のボーン描画ツールも作成し、手軽な利用が可能
30手画像生成モデルの概要
把持画像のための手画像生成弊社スキルアップゼミでの成果
[大谷, 2019]

物体自動配置
任意の物体を置くべき場所を背景から予測
イラスト、テキスト、飾り
ST-GANベースのSingle-shot予測
Regularized Adversarial Training for Single-shot Virtual Try-On
[菊池, 山口, Simo-serra, 小林, ICCVW 2019]
31

テキスト自動配置
バナー画像への自動テキスト配置 [加藤, 山口, 山田, MIRU 2019]
入力画像からセグメンテーションモデルにより配置尤度を推定
配置するテキスト要素の大きさに応じたフィルタ処理をかけたマップから最終的な配置場所を推定
32

関連研究
Modeling Fonts in Context: Font Prediction on Web Designs [Zhao, PG 2018]
Web ページからコンテキスト（ Visual Contents, HTML tags, Design tags）を抽出し、文字をあてがう箇所に応じ
たフォント（色、サイズ）の予測
33

広告の制作支援
ゼロから何かを自動生成するのは技術的に難しい
大量の学習データから学習できても似たようなものが出来上がる
制作物の出力の評価が難しい
グラフィックデザインの良し悪しって何ですか？
重点項目
制作フローの効率化
新しい表現技法の獲得
34

))
35

バナー広告の理解
広告表現は何を伝えているのか？
?広告内容の理解
?グラフィックデザインの統計分析
36

広告内容の理解
CVPR 2018 Ads Workshop 言語記述選択式コンペへ参加し OCR を用いたモデルで1位獲得
[Otani, Iwazaki, Yamaguchi, CVPRW 2018]
http://people.cs.pitt.edu/~kovashka/ads/
37

広告ならではの特性：テキスト表現
見た目にかかわらず、本当に伝えたいことは
テキストとして表示されやすい
Save Water ... Save Life
Image credit [Z Hussain 2017]
38

グラフィックデザインにおけるフォントの統計
Serif or Sans: Visual Font Analytics on Book Covers and Online Advertisements
[Shinahara, ICDAR 2019] （九州大学共同研究）
書籍表紙?広告クリエイティブにおいてフォントと色はどのように内容に関連しているか
本の表紙バナー広告
39

広告におけるフォント?色と内容の相関
PSD ファイルから直接フォント
情報を抽出
ジャンルごとに特徴があるの
は書籍と同じ
Sans-serif 系が多い
小さなバナーの Web 表示に
最適化？
40

関連研究
Learning Visual Importance for Graphic
Designs and Data Visualizations
[Bylinskii, UIST 2017]
グラフィックデザインにおける重要領域の学習
41
Task-driven Webpage Sliency [Zheng, ECCV 2018]
Web ページにおいて、異なる目的?タスクに応じた注目領
域の可視化

バナー広告の理解
対象は自然写真から人工的な作画まで様々
?「隠喩」まで理解できるか？
?単純なディープラーニングモデルで推論は難しい
テキストは強力なヒントだが最終的には「訴求」を推論すべき
42

AI Lab Creative Research まとめ
))
43

研究アイディアの公募
MIRU 2019 企業企画にてデジタル広告に関わる研究アイディアコンペを開催
44
応募研究テーマ内容 ?
1. 広告画像を対象とした任意のフレーズに対応する領域の推定 ?
2. ユーモアを取り入れたキャッチコピーおよびバナー広告の生成 ?
3. Web動画を用いたAR広告コンテンツ自動生成 ?
4. 視線とカーソル軌跡を用いたユーザの興味測定

AI によるデジタル広告制作
これまではデジタル広告運用では既にピュアな機械学習が実績
これからはコンピュータビジョンによる新しい表現手段の
理解?制作でより高い広告効果を実現
45

狠狠撸

広告クリエイティブ制作におけるコンピュータビジョングラフィックデザイン CA Data Engineering & Data Analysis WS #9

More Related Content

広告クリエイティブ制作におけるコンピュータビジョングラフィックデザイン CA Data Engineering & Data Analysis WS #9