狠狠撸

2015/11/4 第30回信号処理シンポジウム 1
非分離冗長重複変換の
事例学習設計における
効果的辞書更新
平成２７年１１月４日（水）
新潟大学
村松正吾、石井雅基

発表内容
? 研究背景と目的
? NSOLTの構成と設計
? 目的関数の勾配導出
? 解析的勾配の効果的計算法の提案
? 確率的勾配降下（ＳＧＤ）法の導入
? NSOLT設計の評価
? まとめ

研究背景
? 冗長変換の応用例：画像復元
?
観測
画像
?
未知の
原画像
観測過程
?
?
?
?
冗長変換（辞書）
スパース表現
?
復元
画像
復元
冗長変換?の選択は復元性能に影響大

? 特徴
? 非分離性、対称性、重複性を有する冗長変換
? 事例に基づく設計（辞書学習）が可能
非分離冗長重複変換(NSOLT)
事例画像
学習辞書（要素画像群） [Muramatsu,ICASSP2014]
?

スパース表現による画像復元
原画像
PSNR→
観測画像
23.84 [dB]
復元画像
ウィーナー
21.99 [dB]
ISTA + →
PSNR →
冗長度 →
復元画像
非間引HT
27.17 [dB]
? = 4
復元画像
NSOLT
27.27 [dB]
? < 2.34

問題と目的
? 従来の設計（辞書学習）法
? 遺伝的アルゴリズム(GA)＆準ニュートン法
? 無数の局所解をもつ非線形な目的関数に対応
? 問題点
? パラメータ数が数百、数千 ? 設計困難
? 特に、準ニュートン法に時間を要する
? 目的関数の数値的勾配（有限差分）計算がボトルネックに
【目的】設計の効率化
解析的勾配を導出、確率的勾配降下法を導入

? パーセバルタイト実装（ ? 2
2
= ? 2
2
）
Type-I NSOLTのラティス構成
? ?
垂直水平
? ?
?
?0
?
?0
?
? ?
? ?
- -
? ?
?1 1/2
1/2
パラメータ
行列
パラメータ
行列?
?0 ?1 ? ??1
? ?
? ?(??1)/2
?0
?1
?2
? ??2
? ??1
符号
パラメータ
回転角
パラメータ
偶対称
奇対称

NSOLTの設計（辞書学習）
? 問題設定
?, ?? = argmin ?, ? ?
1
?
?=0
??1
? ? ? ??? 2
2
s. t. ?? 0 ≤ ?
? スパース符号化
?? = argmin ? ?
? ? ? ??? 2
2
s. t. ?? 0 ≤ ?,
? ∈ {0,1, ? , ? ? 1}
? 辞書更新
? = argmin ?
1
?
?=0
??1
? ? ? ? ? ?? 2
2
? = ? ?
第30回信号処理シンポジウム 82015/11/4
スパース符号化
(変換係数 ?? の更新)
辞書更新
(パラメータ?の更新)
収束判定
true
false
事例画像群（事例数?）
? ?
繰返しハード
閾値処理(IHT)
少ない係数で
良い近似を得たい
GA ＋
準ニュートン法
??
?
?辞書更新が課題．特に，
有限差分による準ニュートン法
辞書
（要素画像群）

? 辞書更新の目的関数
? 目的関数の勾配
ここで、
目的関数の勾配導出
? ? =
1
?
?=0
??1
?? ? 2
2
=
1
?
?=0
??1
? ? ? ? ? ?? 2
2
?? ? ? =
?
??0
? ? ,
?
??1
? ? , ? ,
?
?? ??1
? ?
?
,
? ?
? ? ??
? ? ?
誤差 ?? ?
?0 ?1 ? ??1
? ?
? ?(??1)/2
?
???
? ? = ?
2
?
?=0
??1
?? ? ,
?
???
? ? ??
? ? ? =
?
???
? ?
??
?
???
? ? ??
偏微分システム
対象となる回転行列の
実装変更のみで良い
0
?? + ?/2
事例近似
回転行列
の微分

解析的勾配計算法の提案
? 全ての回転角 ?? について評価
? 同じ演算が繰返し現れる ? 非効率
? 中間結果の再利用． ?, ? ?
? = ??, ? より，回転?(?2
) ? ?(?)
?
???
? ? = ?
2
?
?=0
??1
?? ? , ? ? ? ??
??? ? ? ??
，
?? ? ，
?? ? ，
?? ? ??
??
??
? = 0
? = ? ? 1
?回

解析的勾配の速度評価
? 数値的勾配（有限差分）と解析的勾配の比較
? ２次元，4 × 4間引き，次数 2，2 ?
，直流無漏洩，? = 1, ? = 32 × 32
? 準ニュートン法（MATLAB R2015b fminunc, 反復数：20回）
帯域数
?? + ? ?
所要時間[s] 速度
比率
最大
相対誤差
(DerivativeCheck)数値的解析的
8+8 120.23 1.45 83.14 1.26 × 10?9
9+9 170.79 1.41 121.48 1.63 × 10?9
10+10 228.26 1.69 134.93 1.11 × 10?9
11+11 282.40 1.85 152.80 1.92 × 10?9
12+12 342.52 1.92 178.60 1.02 × 10?9
CPU: Intel Core i7-3667U 2.00GHz, RAM:8GB, OS: Win8.1Pro(64)

? 全ての事例 ? ? について評価
? 事例をランダムに選択して評価
確率的勾配降下(SGD)法の導入
?? ? ? =
1
?
?=0
??1
?? ??(?)
?? ?? ? = ?? ? ? ? ? ? ?? 2
2
?? ? ? ～ ?? ?? ?
事例毎の勾配
全事例の勾配（平均）
事例毎の勾配で近似
計算量削減局所解脱出
? ?+1 = ? ? ? ? ? ?? ? ?
? ?+1 = ? ? ? ? ? ?? ?? ?
?

? 要素画像（インパルス応答）群（? = ?s + ?a = 12 + 12）
? 事例：barbaraからの32 × 32画素パッチ（ランダム抽出? = 64）
? スパース符号化実験の結果（PSNR[dB]）
? 実験緒言(? = 512 × 512, ? = 32,768, ?/? = 0.125)
確率的勾配降下法による設計
辞書 goldhill lena barbara baboon
Sparse K-SVD 33.55 34.87 29.35 26.22
SGD-NSOLT（提案法） 33.56 37.40 32.67 25.94

まとめ
? 辞書更新目的関数の解析的勾配を導出
? 偏微分合成システムを導出，効果的算出法を提案
? 数値的手法に比べ数十～数百倍の速度向上を確認
? 確率的勾配降下(SGD)法の導入
? 大規模な設計問題の最適化が可能に
? Sparse-KSVDと同等か優れた性能も得た
? 今後の課題
? 画像復元，特徴抽出等への応用
? ボリュームデータへの適用

狠狠撸

非分离冗长重复変换の事例学习设计における効果的辞书更新

More Related Content

非分离冗长重复変换の事例学习设计における効果的辞书更新