低ランク性および平滑性を用いたテンソル補完 (Tensor Completion based on Low-rank and Smooth Structures)
Download as PPTX, PDF9 likes7,833 views
2016年度9月惭滨研究会の招待公演で発表しました。
![画像穴埋め (Image Inpainting)
パッチ処理 (局所的類似性)を用いるアプローチ [Criminisi+ 2008]
6
補完の例②
原画像 未完画像 復元画像
[Criminisi+ 2008] A. Criminisi, P. Patrick, and K. Toyama. "Region filling and object removal by
exemplar-based image inpainting." IEEE Transactions on image processing, 13.9 (2004): 1200-1212.](https://image.slidesharecdn.com/20160916tensorcompletionmislideshare-170227062242/85/Tensor-Completion-based-on-Low-rank-and-Smooth-Structures-6-320.jpg){kind=icon}
![画像補完 (Image completion)
ランク最小化(凸最適化) を用いるアプローチ [Gandy+ 2008]
7
補完の例③
原画像 未完画像 復元画像
[Gandy+ 2008] S. Gandy, B. Recht, and I. Yamada. "Tensor completion and low-n-rank tensor
recovery via convex optimization." Inverse Problems 27.2 (2011): 025010.](https://image.slidesharecdn.com/20160916tensorcompletionmislideshare-170227062242/85/Tensor-Completion-based-on-Low-rank-and-Smooth-Structures-7-320.jpg){kind=icon}
![与えられた未完行列が「低ランク」であると仮定する
問題を定式化
16
低ランク性に基づく行列補完
+ + +???
ランク-R 行列
≒
NP困難 [Gillis+ 2011]
-- アプローチ1 --
固定ランクの行列モデル
を使って未完行列を近似する
-- アプローチ2 --
ランク最小化の代わりに
核ノルムを最小化する](https://image.slidesharecdn.com/20160916tensorcompletionmislideshare-170227062242/85/Tensor-Completion-based-on-Low-rank-and-Smooth-Structures-16-320.jpg){kind=icon}
![19
低ランク性に基づく行列補完(例)
原画像 未完画像 復元画像
[Li+ 2014] W. Li, L. Zhao, Z. Lin, D. Xu, and D. Lu. "Non‐Local Image Inpainting Using Low‐Rank Matrix Completion."
Computer Graphics Forum. Vol. 34, No. 6, pp. 111-122, 2015.](https://image.slidesharecdn.com/20160916tensorcompletionmislideshare-170227062242/85/Tensor-Completion-based-on-Low-rank-and-Smooth-Structures-19-320.jpg){kind=icon}
![平滑性
画像に関しては，核ノルムより本質
Total Variation(TV) による平滑性の評価
最適化問題
TVノルムは凸だが微分できないので近接分離
(proximal splitting)に基づいた凸最適化手法が
用いられる．
21
平滑性を用いた行列補完
-- [Li+ 2014] --
Smooth(TV) method
Original
Missing
Results](https://image.slidesharecdn.com/20160916tensorcompletionmislideshare-170227062242/85/Tensor-Completion-based-on-Low-rank-and-Smooth-Structures-21-320.jpg){kind=icon}
![22
低ランクと平滑性の組み合わせ
原画像 未完画像
核ノルム&TV
-- An example of result by LTVNN method
[Han et al., 2014] --
核ノルムのみ TVのみ](https://image.slidesharecdn.com/20160916tensorcompletionmislideshare-170227062242/85/Tensor-Completion-based-on-Low-rank-and-Smooth-Structures-22-320.jpg){kind=icon}
![HaLRTC [Liu et al., TPAMI 2013]
34
テンソル核ノルム最小化による補完
最適化問題
Augmented Lagrangian function
重み付きテンソル核ノルム](https://image.slidesharecdn.com/20160916tensorcompletionmislideshare-170227062242/85/Tensor-Completion-based-on-Low-rank-and-Smooth-Structures-34-320.jpg){kind=icon}
![STDC [Chen et al., TPAMI 2014]
35
Tucker分解に基づくテンソル補完
最適化問題
Augmented Lagrangian function
低ランクなTcuker分解
因子行列Uについての制約](https://image.slidesharecdn.com/20160916tensorcompletionmislideshare-170227062242/85/Tensor-Completion-based-on-Low-rank-and-Smooth-Structures-35-320.jpg){kind=icon}
![Algorithm [Yokota et al., IEEE-TSP 2016]
階層的交互最小二乗法 (HALS)
インクレメンタルなアプローチでRを求める
38
最適化アルゴリズム
R?R+1ランク増加](https://image.slidesharecdn.com/20160916tensorcompletionmislideshare-170227062242/85/Tensor-Completion-based-on-Low-rank-and-Smooth-Structures-38-320.jpg){kind=icon}
![49
Results: Face Filling Problem
Figure is referred from [Geng et al., 2011 ]
Data size:
30 × 11 × 21 × 1024
peoples, poses, illuminations,
pixels](https://image.slidesharecdn.com/20160916tensorcompletionmislideshare-170227062242/85/Tensor-Completion-based-on-Low-rank-and-Smooth-Structures-49-320.jpg){kind=icon}
![50
Results: MRI completion
HaLRTC [Liu et al. 2013] STDC [Chen et al. 2014] Proposed (SV)
95% missing
-- Signal to Distortion Ratio [dB] --](https://image.slidesharecdn.com/20160916tensorcompletionmislideshare-170227062242/85/Tensor-Completion-based-on-Low-rank-and-Smooth-Structures-50-320.jpg){kind=icon}
![SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法](https://cdn.slidesharecdn.com/ss_thumbnails/os2-02final-210610091211-thumbnail.jpg?width=560&fit=bounds)
![SSII2022 [TS1] Transformerの最前線? 畳込みニューラルネットワークの先へ ?](https://cdn.slidesharecdn.com/ss_thumbnails/ts120220608ssiitransformerr2-220607054025-3adacf07-thumbnail.jpg?width=560&fit=bounds)
![SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 ? 足りない情報をどのように補うか？?](https://cdn.slidesharecdn.com/ss_thumbnails/ss2ssii2022-220607054716-2760bd30-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision](https://cdn.slidesharecdn.com/ss_thumbnails/dlkobayashi0115-210115012308-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (14)
低ランク性および平滑性を用いたテンソル補完 (Tensor Completion based on Low-rank and Smooth Structures)
- 1. Tensor Completion based on Low-rank and Smooth Structures 低ランク性および平滑性を用いた テンソルデータ補完 横田 達也 名古屋工業大学 2016年9月16日 MI研招待講演 1
- 2. 行列?テンソル補完の研究について紹介 主な研究成果 行列補完 T. Yokota, A. Cichocki. A fast automatic rank determination algorithm for noisy low-rank matrix completion. In Proceedings of Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2015), pp. 43-46, 2015. テンソル補完 T. Yokota, A. Cichocki. Tensor Completion via Functional Smooth Component Deflation. In Proceedings of 41st International Conference on Audio, Speech, and Signal Processing (ICASSP2016), pp. 2514-2518, 2016. T. Yokota, Q. Zhao, C. Li, and A. Cichocki. Smooth PARAFAC Decomposition for Tensor Completion, IEEE Transactions on Signal Processing, vol. 64, issue 20, pp. 5423-5436, 2016. 2 本日の講演内容
- 3. 3 導入編
- 4. データ(配列)の失われた値を埋め完全なデータにすること 失われた値(missing values)を埋めるためには， 参照可能値(available values), 構造的事前情報(priors), を活用する． 4 補完とは 損失(20%) 補完 補完されたデータ 原データ (未知) 観測データ (未完データ) カラ松 名 姓 松野 ID 9612 チョロ松9613 カラ松 名 姓 松野 ID 9612 チョロ松 松野9613 事前情報: 彼らは兄弟である. おそ松 松野9611 おそ松 松野9611 -- 補完問題 -- -- 例 -- 参照可能 空白 参照可能 推定値
- 5. リコメンデーション (Netflix問題) データ：商品(動画)を購入したユーザがつけた評価ポイント (1~10) 問題：ユーザが次に買ってくれそうな商品(動画)はどれか？ 5 補完の例① User ID 001 User ID 002 User ID 003 User ID 004 10 92 10 89 8 13 1 … … … … …… … … … …
- 6. 画像穴埋め (Image Inpainting) パッチ処理 (局所的類似性)を用いるアプローチ [Criminisi+ 2008] 6 補完の例② 原画像 未完画像 復元画像 [Criminisi+ 2008] A. Criminisi, P. Patrick, and K. Toyama. "Region filling and object removal by exemplar-based image inpainting." IEEE Transactions on image processing, 13.9 (2004): 1200-1212.
- 7. 画像補完 (Image completion) ランク最小化(凸最適化) を用いるアプローチ [Gandy+ 2008] 7 補完の例③ 原画像 未完画像 復元画像 [Gandy+ 2008] S. Gandy, B. Recht, and I. Yamada. "Tensor completion and low-n-rank tensor recovery via convex optimization." Inverse Problems 27.2 (2011): 025010.
- 8. 補完(completion)：不完全なものを「完全」にすること 補間(interpolation)：「間」を埋めること 補間といっても良いし，補完といっても良い例は多い． (私の認識) 補間は特殊，補完は一般， 補完?補間 要素の「位置」に意味がある場合には補間と言って良い 要素の「位置」を任意に入れ替え可能な場合は補間とは言わない Netflix問題は「補間ではない補完」の代表的な例 8 補完と補間の違い User ID 001 User ID 002 User ID 003 User ID 004 User ID 001 User ID 003 User ID 002 User ID 004 入れ替え可能 入れ替え可能 入れ替え可能 入れ替え可能
- 9. 9 理論編
- 10. ベクトルデータ補完 (補間または回帰) 未完データを完全にしたい(補完) 事前情報 : この信号変化は滑らかである(隣り合う値の差が小さい) “線形補間” および “多項式補間” による補完 10 ベクトルの補完(補間)
- 11. 行列補完技術 11 行列の補間 1 0 1 1 1 0 0 1 1 1 011 1 0 01 1 1 0 1 1 1 0 01 1 10 1 1 1 0 01 1 1 0 1 1 1 0 0 1 1 入力 出力行列 観測行列 指示行列 復元作用素
- 12. ベクトル補完ができれば，行列補完もできるじゃん？？ No !! ダメ，絶対!! ダメな理由：行列でしか定義できない構造があるから 行列ランク 横方向の連続性 縦方向の連続性 etc 12 行列補完 vs ベクトル補完 ??? ??? ベクトル展開 行列化 ベクトル補完行列補間
- 13. リコメンダーシステム (Netflix 問題) Netflix, Amazon, 楽天… Rating (1~10) 13 低ランク性に基づく補完の例 User ID 001 User ID 002 User ID 003 User ID 004 10 92 10 89 8 13 1 … … … … …… … … … …
- 14. 14 未完行列の低ランク近似 User ID 001 User ID 002 User ID 003 User ID 004 青いタイプの商品を好む 赤いタイプの商品を好む 青いタイプのみの成分行列 赤いタイプのみの成分行列 青のユーザ 分布ベクトル … … 青の代表スコアベクトル 赤のユーザ 分布ベクトル … … 赤の代表スコアベクトル
- 15. 15 未完行列の低ランク近似 (2) User ID 001 User ID 002 User ID 003 User ID 004 青の成分行列 赤の成分行列 = + ≒ + + +??? 一般化 (I*J)-行列 ランク-R 行列近似
- 16. 与えられた未完行列が「低ランク」であると仮定する 問題を定式化 16 低ランク性に基づく行列補完 + + +??? ランク-R 行列 ≒ NP困難 [Gillis+ 2011] -- アプローチ1 -- 固定ランクの行列モデル を使って未完行列を近似する -- アプローチ2 -- ランク最小化の代わりに 核ノルムを最小化する
- 18. 行列核ノルム 定義： 最適化問題 核ノルムは凸だが微分できないため近接分離(proximal splitting)に基づ いた凸最適化手法が用いられる． 18 核ノルム最小化による行列補完 =
- 19. 19 低ランク性に基づく行列補完(例) 原画像 未完画像 復元画像 [Li+ 2014] W. Li, L. Zhao, Z. Lin, D. Xu, and D. Lu. "Non‐Local Image Inpainting Using Low‐Rank Matrix Completion." Computer Graphics Forum. Vol. 34, No. 6, pp. 111-122, 2015.
- 21. 平滑性 画像に関しては，核ノルムより本質 Total Variation(TV) による平滑性の評価 最適化問題 TVノルムは凸だが微分できないので近接分離 (proximal splitting)に基づいた凸最適化手法が 用いられる． 21 平滑性を用いた行列補完 -- [Li+ 2014] -- Smooth(TV) method Original Missing Results
- 22. 22 低ランクと平滑性の組み合わせ 原画像 未完画像 核ノルム&TV -- An example of result by LTVNN method [Han et al., 2014] -- 核ノルムのみ TVのみ
- 24. 24 理論編その二：テンソル補完
- 28. 28 テンソルデータの例 Time series signal Multiple channels of time series signal 1階テンソル(ベクトル) 筋電図、心電図 モノラル音声 2階テンソル(行列) 脳電図、脳磁図 X線、濃淡画像 3階テンソル MRI、CT、PET カラー画像 4階テンソル 機能的MRI カラー動画像 Gray-scale image Color image ??? MRI，Functional MRI 時間軸
- 29. 与えられたデータが高次元配列(高階テンソル)の場合でも，行列展開 してから行列補完技術を適用すれば補完自体はできる．しかし，それ が良いアプローチかというとそうではない． 例: カラーRGB画像 (3階テンソル) 29 テンソル補完 vs 行列補完 comp. comp. comp. comp. 未完カラー画像 ?赤チャネル ?青チャネル ?緑チャネル 復元後の カラー画像 … … comp. ① ② ③ ① 各チャネル画像間の類似性 を活用できない ② 赤の列，青の列，緑の列の 間の類似性を活用できない ③ 単一チャネル画像の低ラン ク性を活用できない
- 34. HaLRTC [Liu et al., TPAMI 2013] 34 テンソル核ノルム最小化による補完 最適化問題 Augmented Lagrangian function 重み付きテンソル核ノルム
- 35. STDC [Chen et al., TPAMI 2014] 35 Tucker分解に基づくテンソル補完 最適化問題 Augmented Lagrangian function 低ランクなTcuker分解 因子行列Uについての制約
- 37. 37 最適化問題 固定ランクCP分解(平滑制約付き) 最適なRを求める基準 ? Smoothness constraint ? PARAFAC decomposition ? Low rank based model selection
- 38. Algorithm [Yokota et al., IEEE-TSP 2016] 階層的交互最小二乗法 (HALS) インクレメンタルなアプローチでRを求める 38 最適化アルゴリズム R?R+1ランク増加
- 39. 39 応用編(実験結果)
- 40. 40 人工データ
- 41. 41 Results: Color Image Completion Matrix completion Tensor completion New 80% 95% Text Scratch
- 42. 42 Results: Color Image Completion Matrix completion Tensor completion New 95% 99%
- 48. 48 CP分解の中身 = = ??? ??? ? すごく滑らか -------------------------- 滑らかでない ? 0 20 40 60 80 100 120 ランク1テンソル のスケール減衰
- 49. 49 Results: Face Filling Problem Figure is referred from [Geng et al., 2011 ] Data size: 30 × 11 × 21 × 1024 peoples, poses, illuminations, pixels
- 50. 50 Results: MRI completion HaLRTC [Liu et al. 2013] STDC [Chen et al. 2014] Proposed (SV) 95% missing -- Signal to Distortion Ratio [dB] --
- 51. 51 拡大 未完MRI (4スライス) 補完結果 (4スライス)