![5
本資料で用いる数理的な表現
確率分布からのサンプリング
"～"は右辺で示す確率分布からサンプルを取得する操作を表す
= パラメータθが所与のもとで、確率分布p(x|θ)からサンプルxを取得する
例）平均0、分散1の正規分布からのサンプリング
確率モデル(確率分布)
取得するサンプル
与えられたパラメータ
> rnorm(10, 0, 1)
[1] 0.60575411 2.07174510 -0.89826716 1.24358553 -0.28889429
[6] -0.34782197 -0.96595196 0.30360419 0.06729227 -0.89611346
本資料では確率モデル(= "モデル"，"確率分布"，"確率密度関数")に関する数式を多用する](https://image.slidesharecdn.com/twmimseg-151024031417-lva1-app6892/85/-5-320.jpg)
![27
実験?～実験の設定～
特徴抽出
? 分割結果とground truthの類似度を [0,1] の値で評価!
? 1に近いほど自然な分割
評価指標
Probabilistic Rand Index (PRI)
),,(
1
1
∑=
=
L
l
X
j
X
iij
gt
l
gt
l
xxI
L
p ),(
predpred
X
j
X
iij xxIc =
∑≠
??+
$$
%
&
''
(
)
=
jiji
ijijijij
gtpred
pcpc
N
XXPRI
;,
)}1)(1({
2
1
),(
? superpixel 200分割!
? RGB平均ベクトル、RGBヒストグラム
表記 次元数 抽出方法
mean 3 superpixel内画素のRGB値の平均
hist 120 全画素のK-meansにより作成したクラスがsuperpixel内で!
観測された回数
superpixelの例](https://image.slidesharecdn.com/twmimseg-151024031417-lva1-app6892/85/-27-320.jpg)
阶层ディリクレ过程事前分布モデルによる画像领域分割
- 2. 2 目次 0. 本資料で用いる数理的な表現 1. 画像認識と確率的手法を用いた画像のモデリング! 2. 領域数未知問題とディリクレ過程! 3. データセットに対する学習と階層ディリクレ過程! 4. 提案モデルと画像領域分割の実験! 5. まとめ
- 3. 3 目次 0. 本資料で用いる数理的な表現 1. 画像認識と確率的手法を用いた画像のモデリング! 2. 領域数未知問題とディリクレ過程! 3. データセットに対する学習と階層ディリクレ過程! 4. 提案モデルと画像領域分割の実験! 5. まとめ
- 5. 5 本資料で用いる数理的な表現 確率分布からのサンプリング "～"は右辺で示す確率分布からサンプルを取得する操作を表す = パラメータθが所与のもとで、確率分布p(x|θ)からサンプルxを取得する 例）平均0、分散1の正規分布からのサンプリング 確率モデル(確率分布) 取得するサンプル 与えられたパラメータ > rnorm(10, 0, 1) [1] 0.60575411 2.07174510 -0.89826716 1.24358553 -0.28889429 [6] -0.34782197 -0.96595196 0.30360419 0.06729227 -0.89611346 本資料では確率モデル(= "モデル"，"確率分布"，"確率密度関数")に関する数式を多用する
- 7. 7 目次 0. 本資料で用いる数理的な表現 1. 画像認識と確率的手法を用いた画像のモデリング! 2. 領域数未知問題とディリクレ過程! 3. データセットに対する学習と階層ディリクレ過程! 4. 提案モデルと画像領域分割の実験! 5. まとめ
- 8. 8 画像認識の諸問題 画像認識 ? 画像に写る物体，意味する内容について計算機により解析?判断を行う ? デジタル画像の利用目的に応じて様々なタスクが存在する 問題の分解 何が写ってるの？ 一般物体認識 どんなシーン？ シーン認識 人はどこ？ 検出 同じような画像が見たい！ 検索?分類 領域分割 高度な認識タスク前処理 ? 画像認識にはいくつかのレイヤーが存在する ? 高精度な認識を実現する為には前処理が必須 ノイズ処理?特徴抽出 http://aidiary.hatenablog.com/entry/20091024/1256384360 http://sipl.technion.ac.il/Info/News&Events_1_e.php?id=367
- 10. 10 教師なし学習と画像領域分割 混合正規分布を用いた画像領域分割 ? 画素に対して3次元の混合正規分布を仮定(各次元がRGB値に対応) ? コンポーネントのインデックスを領域ラベルとする 教師なし学習として画像領域分割問題を解く場合、画素のクラスタリング問題に帰着できる Kimura T, Tokuda T, Nakada Y, Nokajima T, Matsumoto T, Doucet A (2013) Expectation- maximization algorithms for inference in Dirichlet processes mixture. Pattern Anal Applic 16(1): 55–67 # R G B pixel1 172 190 230 pixel2 ! 212 229 240 pixel3 ! 177 196 216 … … … … k:コンポーネントのインデックス(=領域ラベル)! μ,Σ:領域のパラメータ input model output
- 11. 11 空間的な依存関係を考慮したモデル グラフ理論 Jianbo Shi and Jitendra Malik. Normalized cuts and image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(8):888–905, August 2000. ? 画素をノードとするグラフとみなし，エッジで結合された画素を同じクラスとする! ? グラフのクラス内類似度を最大化，クラス間類似度を最小化するようなグラフを求める S. P. Chatzis and G. Tsechpenakis. The infinite hidden markov random field model. IEEE Transactions on Neural Networks, 21:1004–1014, June 2010. ? 画素は背後に仮定した潜在変数に依存して観測される! ? 潜在変数は近傍の潜在変数のみに依存する マルコフ確率場 ガウス過程 E.B. Sudderth and M. I. Jordan. Shared segmentation of natural scenes using dependent pitman-yor processes. In Daphne Koller, Dale Schuurmans, Yoshua Bengio, and Leon Bottou, editors, NIPS, pages 1585-1592. MIT Press, 2008. ? 近傍の画素は類似する性質をガウス過程でモデル化! ? ある画素のラベルはほかのすべての画素から影響を受け，近傍ほど影響が大きい 画像の空間的な特性を考慮したモデルが存在する
- 12. 12 マルコフ確率場 : 観測値(画素)! : 潜在変数(領域ラベル) マルコフ確率場(MRF) ? 画素間の空間的依存関係を表現した確率モデル! ? 出力の背後に領域に対応する潜在変数を仮定 ? 潜在状態は近傍の状態のみに依存する MRFを仮定した画像領域分割 1y 2y 3y 6y5y4y 1x 2x 3x 4x 7x 8x 9x 5x 6x ? 画素の出力は潜在変数に依存する 空間的な制約の元で! 潜在変数xを求める問題
- 13. 13 マルコフ確率場 1y 2y 3y 6y5y4y 1x 2x 3x 4x 7x 8x 9x 5x 6x ? x5の領域ラベルはx2,x4,x6,x8のみに依存する 1y 2y 3y 6y5y4y 1x 2x 3x 4x 7x 8x 9x 5x 6x 領域ラベルの決定 領域ラベルの決定と画素の出力は以下のようになる x5の領域ラベルが"k"である確率 x2,x4,x6,x8のうち、領域ラベルが "k"である変数の個数に比例 画素の出力 ? y5の属する分布は、x5の領域ラベルによって決まる θkをパラメータとする確率分布 x5の領域ラベルが"k"であることが所与であることを表す
- 14. 14 目次 0. 本資料で用いる数理的な表現 1. 画像認識と確率的手法を用いた画像のモデリング! 2. 領域数未知問題とディリクレ過程! 3. データセットに対する学習と階層ディリクレ過程! 4. 提案モデルと画像領域分割の実験! 5. まとめ
- 15. 15 領域数未知の問題 ? 適切な領域数(コンポーネント数)は、画像によって異なる ? 教師なしの枠組みでは領域数も学習する必要がある 画像領域分割問題において、領域数は未知である場合が多い ? 情報量基準! - 領域数を変えて学習した複数のモデルを、情報量基準の観点で比較 ? ノンパラメトリックベイズ! - 領域数に関する事前分布を導入し、領域数をデータから自動的に決定! - "ディリクレ過程"を事前分布とすることで実現 領域数を決定する方法
- 16. 16 ディリクレ過程 ディリクレ過程はモデルの複雑度に対する事前分布であり、コンポーネント無限個の線形和 として表現できる 混合モデル ? 混合モデルは、K個のモデルの重み付き線形和で表現できる ? 重みの事前分布にディリクレ分布が用いられることが多い ディリクレ過程混合モデル ? 混合モデルの混合数Kを無限大に極限を取ったモデル! ? αはモデルの複雑度を制御するパラメータ
- 17. 17 ディリクレ過程によるデータの生成過程 ディリクレ過程は連続分布G0とパラメータαから離散分布Gを生成する i = 1, …, N について Stick-breaking processによるGの生成 ディリクレ過程混合モデルからのデータ生成 ? ディリクレ過程混合モデルでは、データyに対してパラメータθがひとつ 選択される! ? Gが連続分布であった場合、その性質上データ間で共通のパラメータが 選択される確率が0になる(cf. ルーレット回しの確率)! ? あらかじめGを離散分布とすることで各パラメータの生成確率に有限の 値を与え、データに応じて選ぶ http://www.ism.ac.jp/~daichi/paper/ieice10npbayes.pdf
- 18. 18 ディリクレ過程混合モデルと画像 領域数未知の問題 ディリクレ過程におけるコンポーネント数と の大きさの関係と類似する ?適切な領域数は、画像によって異なる ??? 適切な領域数をデータから求める 領域数と被写体の大きさの関係 ディリクレ過程は画像と相性の良い事前分布である E.B. Sudderth and M. I. Jordan. Shared segmentation of natural scenes using dependent pitman-yor processes. In Daphne Koller, Dale Schuurmans, Yoshua Bengio, and Leon Bottou, editors, NIPS, pages 1585-1592. MIT Press, 2008. 画像に写る物体(被写体)の数と画像中に占める 面積の間には負の相関がある
- 19. 19 ディリクレ過程の拡張 ? ディリクレ過程事前分布モデルは、データセットの画像を独立に学習する! ? データセットには似た様な画像が含まれることが多い(grouped data) ディリクレ過程事前分布モデルは、画像単体をモデル化したものである 1y 2y 3y 6y5y4y 1x 2x 3x 4x 7x 8x 9x 5x 6x 1y 2y 3y 6y5y4y 1x 2x 3x 4x 7x 8x 9x 5x 6x 画像! データセット × × × segmentation segmentation segmentation 1y 2y 3y 6y5y4y 1x 2x 3x 4x 7x 8x 9x 5x 6x grouped dataに対してモデルを階層的に拡張する
- 20. 20 目次 0. 本資料で用いる数理的な表現 1. 画像認識と確率的手法を用いた画像のモデリング! 2. 領域数未知問題とディリクレ過程! 3. データセットに対する学習と階層ディリクレ過程! 4. 提案モデルと画像領域分割の実験! 5. まとめ
- 21. 21 ディリクレ過程の課題 θ1 0G：連続分布 ∑ ∞ = = 1k k k G θδπ 0G G G ディリクレ過程は連続分布からのサンプルなので、複数の分布に共通するパラメータを生成 できない θ2 θ3 θ θ θ θ1 θ2 θ3 G θ θ1 θ2 θ3 π1 π2 π3 π1 π2 π3 π3 π2 π1 ? ? ? sample ? ? ? sample ? ? ? sample ? ? ? sample ? ? ? sample ? ? ? sample } } }
- 22. 22 階層ディリクレ過程 θ1 階層ディリクレ過程は離散分布から複数の分布に共通するパラメータを生成する θ2 θ3 θ θ θ θ1 θ2 θ3 θ θ1 θ2 θ3 π11 π12 π13 ? ? ? sample ? ? ? sample ? ? ? sample ? ? ? sample ? ? ? sample ? ? ? sample } } } G0 = πkδθk k=1 ∞ ∑ Gj = π jtδθkjt t=1 ∞ ∑ 0G θ 1G 2G 3G π21 π31 π22 π32 π23 π33
- 23. 23 階層ディリクレ過程の適用 これらの情報は有効に使いたい 画像! データセット ? 大量の画像データ! ? 似た様な画像を含む! ? 画像間に共通する要素 画像データセットへの適用 ? 画像間で領域(コンポーネント)の情報を共有! ? 画像ごとに領域の出やすさ(コンポーネントの 混合比)が異なる 画像データセットの特徴 階層ディリクレ過程を適用する動機は以下の通り である ? 学習に用いるデータ数が増加する! 高次な特徴量を用いることができる ＋
- 24. 24 目次 0. 本資料で用いる数理的な表現 1. 画像認識と確率的手法を用いた画像のモデリング! 2. 領域数未知問題とディリクレ過程! 3. データセットに対する学習と階層ディリクレ過程! 4. 提案モデルと画像領域分割の実験! 5. まとめ
- 25. 25 提案モデルの要点 提案モデル?～概要～ 階層ディリクレ過程マルコフ確率場(HDP-MRF) ? マルコフ確率場に階層ディリクレ過程を事前分布として導入! ? 画像単体ではなく、データセット全体を対象とした学習を行う 2. ノンパラメトリックモデル 領域数未知の画像に対して領域数を自動的に決定する 3. コンポーネント共有 複数画像間で領域のパラメータを共有する 4. 高次元の特徴量が利用可能 データセットを対象とした学習を行うことでデータ数が増加するため，表現能 力の高い高次の特徴を利用できる 1. 空間的依存関係を考慮したモデル マルコフ確率場により画像の空間的依存関係を表現
- 26. 26 実験?～実験の設定～ ? 学習データ：自然や人物などの画像 300枚! ? 正解データ：人手による分割結果(ground truth) 1633枚 画像データセット Berkeley Segmentation Dataset and Benchmark 提案モデル(階層ディリクレ過程事前分布マルコフ確率場)を用いて画像領域分割を行った
- 27. 27 実験?～実験の設定～ 特徴抽出 ? 分割結果とground truthの類似度を [0,1] の値で評価! ? 1に近いほど自然な分割 評価指標 Probabilistic Rand Index (PRI) ),,( 1 1 ∑= = L l X j X iij gt l gt l xxI L p ),( predpred X j X iij xxIc = ∑≠ ??+ $$ % & '' ( ) = jiji ijijijij gtpred pcpc N XXPRI ;, )}1)(1({ 2 1 ),( ? superpixel 200分割! ? RGB平均ベクトル、RGBヒストグラム 表記 次元数 抽出方法 mean 3 superpixel内画素のRGB値の平均 hist 120 全画素のK-meansにより作成したクラスがsuperpixel内で! 観測された回数 superpixelの例
- 28. 28 実験?～実験の設定～ 実験条件等 ? 実験回数：10回 先行研究 提案モデル モデル IHMRF HDP-MRF 実装 変分ベイズ法(VB) 周辺化ギブスサンプリング(MCMC)! ／周辺化変分ベイズ法(CVB) 出力分布 正規分布 正規分布／多項分布 特徴量 RGB平均ベクトル(3次元)／RGBヒストグラム(120次元) 実装方法???MCMC:周辺化ギブスサンプリング／CVB:周辺化変分ベイズ! 出力分布???g:正規分布／m:多項分布 ※ 表記方法
- 29. 29 実験?～結果(PRI)～ PRI 0.2 0.35 0.5 0.65 0.8 手法 IHMRF MCMC CVB PRI 0.2 0.35 0.5 0.65 0.8 手法 IHMRF MCMCg CVBg MCMCm CVBm 特徴量 RGB平均ベクトル(3次元) RGBヒストグラム(120次元) 実装 IHMRF MCMCg CVBg IHMRF MCMCg CVBg MCMCm CVBm 平均 0.637 0.655 0.626 0.450 0.628 0.683 0.741 0.701 標準偏差 0.00259 0.00404 0.00806 0.00488 0.00127 0.00410 0.00017 0.00231 RGB平均ベクトル(3次元) RGBヒストグラム(120次元)
- 30. 30 実験?～結果(画像ごとのPRI)～ HDP-MRF(CVBg/hist) 0 0.25 0.5 0.75 1 IHMRF(mean) 0 0.25 0.5 0.75 1 ? 横軸： ???先行研究による分割に ???対するPRI ? 縦軸： ???提案モデルによる分割に ???対するPRI ? プロット： ???画像 先行研究???変分ベイズ法／正規分布出力／RGB平均ベクトル(3次元) 提案モデル???周辺化変分ベイズ法／正規分布出力／RGBヒストグラム(120次元)
- 33. 33 補足実験?～画像のクラスタリング～ ? 特徴量：各画像に占める領域の比率を示すベクトル! ? 分類手法：Normalized Cut 画像データセット Berkeley Segmentation Dataset and Benchmarkの分割結果 提案モデルが画像データセットをgrouped dataと見なしているのかを調査した 30% 15% 15% 20% 領域分割結果 各領域の面積(比率)入力画像 1.0 0.3 0.15 0.2 0.15 各領域が占める面積 の比率をベクトル化 してクラスタリング に用いる特徴量とす る
- 35. 35 補足実験?～クラスタリングの結果～ 色の類似する画像が同じクラスタに分類されている ? 白やグレー ? 褐色だが黄色に近い
- 36. 36 目次 0. 本資料で用いる数理的な表現 1. 画像認識と確率的手法を用いた画像のモデリング! 2. 領域数未知問題とディリクレ過程! 3. データセットに対する学習と階層ディリクレ過程! 4. 提案モデルと画像領域分割の実験! 5. まとめ
- 37. 37 まとめ まとめ 画像を扱う際の代表的な確率モデルであるマルコフ確率場に階層ディリクレ過程を導入 し、画像領域分割問題に対するモデルを提案した! ! ? マルコフ確率場により画像の空間的依存関係をモデル化した! ! ? 階層ディリクレ過程を導入し、領域数の自動推定と領域分割を同時に達成した! ! ? データセットに対する学習を実施した! ! ? 表現能力の高い特徴量を利用することに成功した! ! !