冗长変换とその画像復元応用
Download as pptx, pdf3 likes4,389 views
日本画像学会 第26 回 フリートーキング “Imaging Today” 『画像修復?関連技術』
![(a)
(b)
二次元NSOLTの設計例
? 学習ベース設計例
2015/1/30 日本画像学会 第26回 フリートーキング 36
事例画像
学習辞書（アトム群） [Muramatsu,ICASSP2014]
２レベル
ツリー構成](https://image.slidesharecdn.com/random-150612085409-lva1-app6891/85/-36-320.jpg)
![三次元NSOLTの設計例
? 学習ベース設計例
2015/1/30 日本画像学会 第26回 フリートーキング
[村松,SIPシンポ2014]](https://image.slidesharecdn.com/random-150612085409-lva1-app6891/85/-37-320.jpg)
![関連技術
2015/1/30 日本画像学会 第26回 フリートーキング 38
? = argmin ?
1
2
? ? ??? 2
2
+ ? ? 1
係数毎の設定?適応化：? ?
?
BayesShrink, MSIST など
正則化項の変更
pノルム ? < 1
全変動(TV)など
? ? ? ∝ ? ? ? ? ? ∝ ?
?
? 2
2
2? ?
2
? ?
?
? 1
? ?
? =
? ?
2
? ?最大事後確率
（ＭＡＰ）推定
ノイズ～正規分布
?[?]~? 0, σw
2
係数～ラプラス分布
?[?]~? 0, ? ?
等価：
-2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2
0
0.2
0.4
0.6
0.8
1
x
-4 -3 -2 -1 0 1 2 3 4
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
x
辞書?の設計
Contourlet, DT-?WTなど
辞書?の学習
MOD, K-SVDなど
局所的画像パッチを利用
BM3Dなど
非線形モデルへ拡張
カーネル回帰法など
分布を仮定しない
SURE-LETなど
分散
最適化](https://image.slidesharecdn.com/random-150612085409-lva1-app6891/85/-38-320.jpg)
![直交マッチング追跡法(OMP)
? 残差に最も近いアトムを逐次選択
2015/1/30 日本画像学会 第26回 フリートーキング 44
?0
?1
?2
?0
?1
?2
?[0]?0
?
?0
?1?2
? ? ? 0 ?0
残差
?[1]?1
選択されたアトムのみを用いて
最小二乗法により係数を更新
繰り返す](https://image.slidesharecdn.com/random-150612085409-lva1-app6891/85/-44-320.jpg)
![基底追跡法(BP)
? 最短経路となるようアトムを選択
2015/1/30 日本画像学会 第26回 フリートーキング 45
?0
?1
?2
?
?[0]?0
?[1]?1
? = arg min ? ? 1 subject to ? = ??
? = arg min ? ? ? ?
subject to ? = ? ? ? ? and ? ≥ ?
線形計画法に帰着
? =
?+
??
∈ ?2?
? = ?+ ? ?? ∈ ? ?
? 1 = ? ?(?+ + ??)
? = ?? = ? (?+ ? ??)](https://image.slidesharecdn.com/random-150612085409-lva1-app6891/85/-45-320.jpg)
冗长変换とその画像復元応用
- 1. 2015/1/30 日本画像学会 第26回 フリートーキング 1 冗長変換と その画像復元応用 平成２７年１月３０日（金） 新潟大学工学部 電気電子工学科 准教授 村松 正吾
- 2. 村松 正吾（むらまつ しょうご） ? 画像?映像信号処理の教育研究に従事 ? 電子情報通信学会(IEICE)：基礎?境界，情報?システム ? 映像情報メディア学会(ITE) ? IEEE：SP, CAS, COMP ? 著書 ? 「マルチメディア技術の基礎DCT入門」 （CQ出版社, 1997年） ? 「MATLABによる画像&映像信号処理 」 （CQ出版社, 2007年） 日本画像学会 第26回 フリートーキング 22015/1/30
- 3. IoT時代を迎えて ? センシング環境の多様化 ?センサ端末（エッジ） ? リアルタイム処理 ? 遠隔?協調処理 ? 特徴抽出、認識処理 2015/1/30 日本画像学会 第26回 フリートーキング 3
- 4. IoT時代の画像処理 ? 組込みビジョン技術への期待 ? 処理フローの典型例 2015/1/30 日本画像学会 第26回 フリートーキング 4 組込み コン ピュータ ビジョン 組込み ビジョン 取得画像 前処理 特徴抽出 認識 解析情報 【例】 デジカメの 顔検出
- 5. 昼夜問わず、風雨に耐えて… 劣悪な環境下でのセンシング ? 前処理が重要な役割を担う ?輝度?色彩調整 ?幾何補正 ?ノイズ除去 ?デモザイキング ?ボケ除去 ?欠損修復 ?超解像 2015/1/30 日本画像学会 第26回 フリートーキング 5 画像復元問題 冗長変換とスパース表現 共通に利用可能なツール
- 6. 冗長変換とスパース表現による ボケ＋ノイズ除去の例 2015/1/30 日本画像学会 第26回 フリートーキング 6 原画像 観測画像 PSNR: 23.84 dB 復元画像 PSNR: 27.21 dB
- 7. 冗長変換とスパース表現による 単一フレーム超解像の例 2015/1/30 日本画像学会 第26回 フリートーキング 7 原画像 観測画像 復元画像 PSNR: 27.61 dB Bicubic補間画像 PSNR: 23.92 dB
- 8. 冗長変換とスパース表現による 画像修復の例 2015/1/30 日本画像学会 第26回 フリートーキング 8 原画像 観測画像 PSNR: 12.56 dB 復元画像 PSNR: 32.76 dB
- 9. 講演内容 ? 変換と画像処理応用 ? 冗長変換の概要 ? 画像のスパース表現 ? 冗長変換の画像復元応用 ? 辞書（変換）設計 ? まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 9
- 10. 講演内容 ? 変換と画像処理応用 ? 冗長変換の概要 ? 画像のスパース表現 ? スパース表現の画像復元応用 ? 辞書（変換）設計 ? まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 10
- 11. 画像変換の効果 ? 3-レベルウェーブレット変換 2015/1/30 日本画像学会 第26回 フリートーキング 11 ? ? スパースな表現を与える
- 12. 画像変換の応用例 ? 変換符号化（JPEG/JPEG2000） 順変換 ? 逆変換 ? 逆量子化 量子化前処理 後処理 2015/1/30 日本画像学会 第26回 フリートーキング 12 エントロピー 符号化 エントロピー 復号 符号化 復号
- 13. 画像と変換係数の関係 ? 要素画像の線形結合 1/2 1/2 1/2 1/2 ０ ２ ４ ６ -1/2 1/2 -1/2 1/2 -1/2 -1/2 1/2 1/2 1/2 -1/2 -1/2 1/2 = 6 × 2× 4× 0× 変換係数 要素画像（アトム） 2015/1/30 日本画像学会 第26回 フリートーキング 13 U + ++
- 14. 要素画像(アトム)の例 2015/1/30 日本画像学会 第26回 フリートーキング 14 4 × 4 離散コサイン変換 (DCT) 2 レベル 9/7離散ウェーブレット変換 (9/7 DWT)
- 15. 画像変換の変遷 2015/1/30 日本画像学会 第26回 フリートーキング 15 ? 【８０年代以前】 ブロック直交変換 ? アダマール変換，DCT ? 【８０～９０年代】 重複変換、ウェーブレット変換 ? LOT，LBT，5/3 DWT，9/7 DWT ? 【９０～００年代】 指向性変換，冗長変換 ? X-let系(Contourlet等)，DT-?WT，混成DirLOT ? 【００年代以降】 学習ベース辞書（冗長変換） ? MOD, K-SVD, 非分離冗長重複変換(NSOLT)
- 16. 画像の列ベクトル表現の導入 2015/1/30 日本画像学会 第26回 フリートーキング 16 0 4 2 6 ? 6 4 0 2 ? 0 2 4 6 列ベクトル化 ? ∈ ? ? ? ∈ ? ? = 1/2 -1/2 0 0 -1/2 1/2 0 ? 1/2 1/2 0 0 -1/2 -1/2 0 ? 0 0 0 0 0 0 0 ? 0 0 0 0 0 0 0 ? 1/2 -1/2 0 0 1/2 -1/2 0 ? 1/2 1/2 0 0 1/2 1/2 0 ? 0 0 0 0 ? ? ? ? ? ? ? ? 配列化 画像配列 係数画像 ? ∈ ? ?0×?1 ? ∈ ? ?×? 逆変換行列 （辞書） アトム ? ?∈ ? ?
- 17. 講演内容 ? 変換と画像処理応用 ? 冗長変換の概要 ? 画像のスパース表現 ? スパース表現の画像復元応用 ? 辞書（変換）設計 ? まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 17
- 18. 辞書?による画像表現 ? アトム?mの線形結合による画像表現 2015/1/30 日本画像学会 第26回 フリートーキング 18 ? = ?? = …+ + + ?0 ?1 ? ??1 ? ? ? ? 0 ? 1 ? ? ? 1 ? 辞書? ：アトムの集合
- 19. 基底とフレーム ? 基底：非冗長なアトム集合（辞書?） ? フレーム：冗長なアトム集合（辞書?） 2015/1/30 日本画像学会 第26回 フリートーキング 19 ?0 ?1 = ?00 ?10 ?01 ?11 ?0 ?1 ?0 ?1 = ?00 ?10 ?20 ?01 ?11 ?21 ?0 ?1 ?2 ?0 ?1 ?0 ?1 ?2 唯一 無数
- 20. 基底と比べたフレームの利点は？ 2015/1/30 日本画像学会 第26回 フリートーキング 20 ? ? ? ? ? ? ? ? ? ? ? 変換（唯一） ? 辞書（基底） ? 辞書（フレーム） ? 冗長な辞書（フレーム）では係数 ? を選択できる 変換（無数） 非冗長 冗長 ? ? ∈ ??
- 21. 係数選択の一例：最小二乗解 ? 画像?，辞書? に対し無数の係数候補 適切な変換係数 ? を選択する問題 ? 2（標準）-ノルム最小化問題として解く 2015/1/30 日本画像学会 第26回 フリートーキング 21 ? = arg min ? ? 2 2 subject to ? = ?? 無数に存在する係数?の候補の中から エネルギー ? 2 2 が最小のものを探す ? = ? ? ?? ? ?1 ? = ?+ ? ムーア?ペンローズ 一般逆行列
- 22. 講演内容 ? 変換と画像処理応用 ? 冗長変換の概要 ? 画像のスパース表現 ? スパース表現の画像復元応用 ? 辞書（変換）設計 ? まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 22
- 23. 非線形近似 = …? 近似画像 + + |? ?0 | |? ?1 | ? |? ? ??1 | + ? ?0 ? ?1 ? ? ??1 一部（?個）の係数のみで表現 （誤差が生じる） もし， ? = ? ? ?は?-スパース ? ? ? 2015/1/30 日本画像学会 第26回 フリートーキング 23 ? ? ? …
- 24. 0-ノルム最小化問題 ? より少ない係数で良い近似を得たい ? 標準ノルムは小さな係数を過小評価，誤差大 ? 0-ノルム最小化問題として解く ? 最適な係数の組合せを探索する問題 ? 現実的な計算時間内で解を得ることは不可能 ? 貪欲法（OMP，MP）による近似解の探索が一般的 2015/1/30 日本画像学会 第26回 フリートーキング 24 ? = arg min ? ? 0 subject to ? = ?? 非零係数の数 係数がスパース なほど良い
- 25. 1-ノルム最小化問題 ? 0-ノルム最小化問題は解の探索が困難 ?0-ノルムに代わるスパース性尺度を導入 ? 1-ノルム最小化問題として解く ? 基底追跡(BP)法と呼ばれる ?線形計画問題に帰着 2015/1/30 日本画像学会 第26回 フリートーキング 25 ? = arg min ? ? 1 subject to ? = ?? 係数の絶対値和 ? 1 = ?=0 ??1 |? ? |
- 26. 基底追跡ノイズ除去(BPDN) ? BP法は多項式時間で解くことができる ? しかし、画像信号に対し事実上実現が困難 ? 再構成誤差を許容して解く ? 基底追跡ノイズ除去(BPDN)法と呼ばれる ? 演算量を大幅に削減可能 2015/1/30 日本画像学会 第26回 フリートーキング 26 ? = arg min ? 1 2 ? ? ?? 2 2 + ? ? 1 忠実度 スパース性 制御パラメータ（重み）
- 27. ソフト縮退ノイズ除去 ? もし，?が正規直交ならば ? ‖? ? ?‖2 2 = ‖? ‖2 2 ， ?? = ? ? ? = ?より 2015/1/30 日本画像学会 第26回 フリートーキング 27 分析 ? = ? ? 合成 ?： ： 入力 出力 ? ?? ?? ? ? Donoho, Johnstoneらの ソフト縮退処理
- 28. 原画像とノイズ画像の変換係数 ? ? 28 ? ? 2015/1/30 日本画像学会 第26回 フリートーキング
- 29. 講演内容 ? 変換と画像処理応用 ? 冗長変換の概要 ? 信号のスパース表現 ? スパース表現の画像復元応用 ? 辞書（変換）設計 ? まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 29
- 30. スパース表現の画像処理応用 ? 画像の劣化／復元モデル 2015/1/30 日本画像学会 第26回 フリートーキング 30 ? 観測 画像 ? 未知の 原画像 ? + ? 観測過程 （既知） AWGN ? ? ? ? 辞書（既知） スパース表現 ? 復元 画像 復元 ? = ?? + ? ? = ?? ? はスパース 仮定 ? = argmin ? 1 2 ? ? ??? 2 2 + ?? ? ? = ? ? 正則化項（スパース性） 問題 設定
- 31. 画像復元問題と観測過程 画像復元 問題 観測過程 ? ボケ除去 レンズの点広がり関数や手ブレによるボケを 線形フィルタ ? = ? によりモデル化 超解像 低解像度の観測過程を線形フィルタ?と 間引き処理?↓により ? = ?↓ ? とモデル化 画像修復 画素の欠損を不規則間引き処理?↓と 零値挿入処理?↓ ? により? = ?↓ ? ?↓とモデル化 圧縮センシング 線形シフト変フィルタ?と不規則間引き処理?↓ により観測行列を? = ?↓ ? とデル化 2015/1/30 日本画像学会 第26回 フリートーキング 31
- 32. 画像復元問題の解法例 ー ISTA （繰返し縮退／閾値アルゴリズム） ? 正則化項（スパース性）：? ? = ? 1 ?係数 ? の厳密解が得られる ?ソフト縮退処理の一般化と見なせる 2015/1/30 日本画像学会 第26回 フリートーキング 32 ?? ? ? ? 観測 画像 ? ? ? ? ? ? ?(??1) + + ? ?(?) ?(?) 復元 画像 ? 1/? ?(??1)
- 33. 講演内容 ? 変換と画像処理応用 ? 冗長変換の概要 ? 信号のスパース表現 ? スパース表現の画像復元応用 ? 辞書（変換）設計 ? まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 33
- 34. 辞書?の選択 ? 解析的辞書 ?数学的な定義に基づいて与えられる ?明確な構造を持ち，実装時の演算量が少ない ?DCT, LOT, LBT, DWT，Contourlet など ? 学習ベース辞書 ?対象信号や画像の事例を用いて設計 ?対象信号や画像に対して詳細に調整可能 ?MOD, K-SVD, SimCO, NSOLTなど 2015/1/30 日本画像学会 第26回 フリートーキング 34
- 35. 学習ベース辞書 ? 問題設定の典型例 ?, ?? = argmin ?,? ? ? ? ? ??? 2 2 s. t. ?? 0 ≤ ? ? スパース符号化 ?? = argmin ? ? ? ? ??? 2 2 s. t. ?? 0 ≤ ? ? 辞書更新 ? = argmin ? ? ? ? ? ?? 2 2 日本画像学会 第26回 フリートーキング 352015/1/30 スパース符号化 辞書更新 収束 true false ? ? ? 事例画像群 設計辞書
- 36. (a) (b) 二次元NSOLTの設計例 ? 学習ベース設計例 2015/1/30 日本画像学会 第26回 フリートーキング 36 事例画像 学習辞書（アトム群） [Muramatsu,ICASSP2014] ２レベル ツリー構成
- 37. 三次元NSOLTの設計例 ? 学習ベース設計例 2015/1/30 日本画像学会 第26回 フリートーキング [村松,SIPシンポ2014]
- 38. 関連技術 2015/1/30 日本画像学会 第26回 フリートーキング 38 ? = argmin ? 1 2 ? ? ??? 2 2 + ? ? 1 係数毎の設定?適応化：? ? ? BayesShrink, MSIST など 正則化項の変更 pノルム ? < 1 全変動(TV)など ? ? ? ∝ ? ? ? ? ? ∝ ? ? ? 2 2 2? ? 2 ? ? ? ? 1 ? ? ? = ? ? 2 ? ?最大事後確率 （ＭＡＰ）推定 ノイズ～正規分布 ?[?]~? 0, σw 2 係数～ラプラス分布 ?[?]~? 0, ? ? 等価： -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.2 0.4 0.6 0.8 1 x -4 -3 -2 -1 0 1 2 3 4 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 x 辞書?の設計 Contourlet, DT-?WTなど 辞書?の学習 MOD, K-SVDなど 局所的画像パッチを利用 BM3Dなど 非線形モデルへ拡張 カーネル回帰法など 分布を仮定しない SURE-LETなど 分散 最適化
- 39. まとめ ? 画像変換とその画像復元応用について概説 ? 冗長変換とスパース表現の有用性を解説 ? 学習ベース辞書の設計法と設計例を紹介 ? 医療用画像，光線場画像などボリューム拡張可 ? 関連技術と発展性 ? 本講演が，画像のスパース表現への興味のきっ かけとして役立てれば幸いです 2015/1/30 日本画像学会 第26回 フリートーキング 39
- 40. 謝辞 ? 本講演の機会をいただいた（社）日本画像学 会編集委員会の皆様に謝意を申し上げます． ? 本報告内容の研究の一部は科研費(No. 26420347) の助成を受けた． 2015/1/30 日本画像学会 第26回 フリートーキング 40
- 41. 非冗長系－基底 ? アトムの数が信号次元と等しい場合 ?アトム集合 ? ? を基底とよぶ．?は唯一． ?双直交基底（例：9/7DWT） ?正規直交基底（例：DCT） 2015/1/30 日本画像学会 第26回 フリートーキング 41 ? = ??1 (≠ ? ? ) ? = ??1 = ? ? ? 2 2 = ? 2 2 が成り立つ ?2 ?2 ?0 ?1 ?0?1 パーセバル の等式
- 42. 冗長系－フレーム ? アトムの数が信号次元より多い場合 ?アトム集合 ? ? をフレームとよぶ．?は無数． ? タイトフレーム ? ?min = ?max = ? を満たす 2015/1/30 日本画像学会 第26回 フリートーキング 42 ?min ? 2 2 ≤ ? ? ? 2 2 ≤ ?max ? 2 2 ?2 ?0 ?1?2 直交基底と同じ
- 43. 一般逆行列 ? 標準ノルム最小化問題はラグランジュ定数?の導 入により を最小化する問題となる． より となるので，最適な係数 ?は， と導かれる． 2015/1/30 日本画像学会 第26回 フリートーキング 43 ? ? = ? 2 2 ? ? ?(?? ? ?) ?? ? ?? = 2? ? ? ? ? = 0 2?? = 2? = ?? ? ? ? = 2 ?? ? ?1 ? ? = ? ? ?? ? ?1 ? = ?+ ? ムーア?ペンローズ一般逆行列
- 44. 直交マッチング追跡法(OMP) ? 残差に最も近いアトムを逐次選択 2015/1/30 日本画像学会 第26回 フリートーキング 44 ?0 ?1 ?2 ?0 ?1 ?2 ?[0]?0 ? ?0 ?1?2 ? ? ? 0 ?0 残差 ?[1]?1 選択されたアトムのみを用いて 最小二乗法により係数を更新 繰り返す
- 45. 基底追跡法(BP) ? 最短経路となるようアトムを選択 2015/1/30 日本画像学会 第26回 フリートーキング 45 ?0 ?1 ?2 ? ?[0]?0 ?[1]?1 ? = arg min ? ? 1 subject to ? = ?? ? = arg min ? ? ? ? subject to ? = ? ? ? ? and ? ≥ ? 線形計画法に帰着 ? = ?+ ?? ∈ ?2? ? = ?+ ? ?? ∈ ? ? ? 1 = ? ?(?+ + ??) ? = ?? = ? (?+ ? ??)