![Quantization Loss
現実のグレスケ画像は uint8 ∈ {0,...,255} なので、エンコーダの直接の出力である
fp32 ∈ [-1, 1] （tanh）のグレスケ画像を量子化しつつ精度を落とす必要がある
その際にアーティファクトを引き起こす原因である非整数値画素に対し損失化
25
: 輝度値 d で埋められた uint8 単色画像を fp32 化](https://image.slidesharecdn.com/paperfridayinvertiblegrayscale-190510100042/85/Paper-Friday-Invertible-Grayscale-24-320.jpg)
社内論文読み会 Paper Friday, Invertible Grayscale
- 1. SIGGRAPHASIA2018 Invertible Grayscale Menghan Xia Xueting Liu Tien-Tsin Wong Paper Friday: May 10, 2019 Kazuhiro Ota 1
- 7. Related works 古典的なグレスケの仕方にも様々あるわけだが、最近だとコントラスト（輝度値のレンジ）をうまく保存しつつグ レスケ化する Decolorization が提案されていたりする だが、これらはカラー画像に復元可能なグレスケ画像の生成を目的とはしていない 8
- 9. Related works Colorization を DeepLearning で解決している事例が出てきているが、物体やテクスチャがはっきりしている 状況下でしかうまく機能しない 10
- 10. Related works 画像自体に近似色情報をメタデータとして埋め込み復元時に参照する画像圧縮エンコード法を提案 ただ、オリジナル画像の色が再現されることを保証してはいない Multiple hypothesis colorization and its application to image compression Mohammad Haris Baig and Lorenzo Torresani 11
- 11. Invertible Color-to-Grayscale Problem グレスケ画像の画素自体にカラー情報を埋め込むことでカラー画像をグレスケ化することにより、グレスケ画 像からほぼ元通り（平均 SSIM: 0.9681、平均 PSNR: 36.02 dB）のカラー画像を復元する手法を提案 12
- 12. System Overview and Network Architecture Encoder-Decoder による学習の仕組み自体は CycleGAN と似ているが、カラー情報復元の精度を担保 し、エンコード後の潜在情報をグレスケ画像として可視化可能としている 13
- 13. System Overview and Network Architecture 生成されたグレスケ画像 復元されたカラー画像 14
- 16. Invertibility Loss 復元したカラー画像がオリジナル画像を近づけるための Loss 入力画像?復元画像間の単純な画素値の差異（MSE）を損失化 Input Restored 17
- 18. Grayscale Conformity Loss 普通のグレスケ画像っぽさを保存するための Loss 3つの Sub-Loss で構成 Lightness Loss: Contrast Loss: Local Structure Loss: 19
- 19. Grayscale Conformity Loss Lightness Loss グレスケ画像が元画像の輝度値と一致する（暗いところは暗く、明るいところは明るい） ように損失化 さらに、輝度θまでは誤差を許容することで画素にカラー情報を埋め込むための余地を 与える役割も担っている : 画像 I の輝度値チャネル : 輝度値 θ で埋められた単色画像 20
- 20. Grayscale Conformity Loss Contrast Loss 元画像のコントラストを保存するための Loss 学習済み VGG-19 モデルに画像を通した際に conv4_4 レイヤから得られる特徴量の 差を損失化 21
- 21. Grayscale Conformity Loss Local Structure Loss 元画像の局所的な構造を保持するための Loss（滑らかなところは滑らかに、エッジが 立っているところはエッジが立つように） カラー情報を埋め込んだ際のパターン模様が表面化してしまうことを防ぐ役目 Total-Variation （隣接画素の差分の合計）の差異を損失化 22
- 24. Quantization Loss 現実のグレスケ画像は uint8 ∈ {0,...,255} なので、エンコーダの直接の出力である fp32 ∈ [-1, 1] （tanh）のグレスケ画像を量子化しつつ精度を落とす必要がある その際にアーティファクトを引き起こす原因である非整数値画素に対し損失化 25 : 輝度値 d で埋められた uint8 単色画像を fp32 化
- 26. Training Data ● VOC2012 データセットからカラー画像 17,125 枚を抽出 ○ 学習に13,758 枚、残り 3,367 枚はテスト ● 解像度は 256x256 に Crop&Resize 27
- 27. Two-stage Training Quantization Loss の Piecewise 性による学習の難しさとメモリ消費量に対応するため に学習を2ステージに分割 最初の90エポックは Quantization Loss のみ重みを 0 にして学習 同エポック数での学習時間を半分程度に抑えられ、結果も僅かながら良好 28
- 28. Results 29
- 29. Qualitative Evaluation Color Restoration vs. Colorization もちろん全然適切な比較ではないことを主張 （Invertible Grayscale は Learned Encoder-Decoder で行っている） 30
- 30. Qualitative Evaluation Color Restoration vs. Colorization 31
- 32. User Study Questionnaires Grayscale ConformityInvertibility （図の選択肢間違ってる気がする ) Similarity Human-perceived invertibility and grayscale conformity 33
- 33. User Study 回答者数 25人（男：15人、女：10人、18?33歳） 異なるカテゴリの画像からランダムに 14枚をサンプリングして実験 34
- 34. Limitation もちろん Invertible Grayscale 画像に対してリサイズ、回転、JPEG 変換などの操作を してしまうとダメ JPEG 圧縮クオリティも低いほど復元に悪影響が生じる 35
- 36. まとめ ● カラー画像へ復元可能なグレスケ化の方法を静止画向けに提案 ○ Key idea はカラー情報をグレスケ画像に埋め込むこと ○ 動画に対してもフレームごとに処理することは可能だが 時間軸で一貫性のある色付けは保証していない ○ JPEG などの Lossy な画像圧縮によるエラー表現に弱い ● 情報を画像に埋め込む仕組み自体は応用可能 ○ より印刷に適しているハーフトーニング処理を Invertible にやるとか 37