![[DL輪読会]Neural Radiance Flow for 4D View Synthesis and Video Processing (NeRF...](https://cdn.slidesharecdn.com/ss_thumbnails/20210806journalclub-210806023711-thumbnail.jpg?width=560&fit=bounds)
![[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](https://cdn.slidesharecdn.com/ss_thumbnails/nerf20200327slideshare-200326131430-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](https://cdn.slidesharecdn.com/ss_thumbnails/nerfdlseminar1-200327021512-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]"CyCADA: Cycle-Consistent Adversarial Domain Adaptation"&"Learning Se...](https://cdn.slidesharecdn.com/ss_thumbnails/20180803dlakuzawa-180803003349-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder](https://cdn.slidesharecdn.com/ss_thumbnails/nvaeadeephierarchicalvariationalautoencoder-201113004930-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Diffusion-based Voice Conversion with Fast Maximum Likelihood Samplin...](https://cdn.slidesharecdn.com/ss_thumbnails/20220318akuzawa-220322065615-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...](https://cdn.slidesharecdn.com/ss_thumbnails/dl0114-220114032933-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
More from Norishige Fukushima (16)
Recently uploaded (15)
ガイデットフィルタとその周辺
- 1. Guided Filterとその周辺 名古屋工業大学 福嶋慶繁 2012/7/21 第18回 名古屋CV?PRML勉強会
- 2. 紹介論文 ? J. Lu, K. Shi, D. Min, L. Lin, and M. N. Do, “Cross-Based Local Multipoint Filtering,” CVPR2012. ? 内容： 高速なエッジキープ型のフィルタの 拡張とアプリケーション例 – 注）細かいところはカットしています – なかなか本題にはいりません．
- 3. 関連論文 ? Bilateral Filterの論文 – C. Tomasi and R. Manduchi, “Bilateral Filtering for Gray and Color Images,” ICCV’98. ? Joint/Cross Bilarater Filterによるデノイズ – G. Petschnigg, M. Agrawala, H. Hoppe, R. Szeliski, M. Cohen, K. Toyama, “Digital Photography with Fash and No-?ash Image Pairs,” SIGGRAPH’04. – E. Eisemann and F. Durand, “Flash Photography Enhancement via Intrinsic Relighting,” SIGGRAPH’04. ? Joint Bilateral Filterを～mapに適用して解像度やノイズ除去 – J. Kopf，M. F. Cohen，D. Lischinski and M. Uyttendaele, “Joint bilateral upsampling,” SIGGRAPH’07 ? NLFによるデノイズ – A. Buades, B. Coll, J.M. Morel, “A Non-local Algorithm for Image Denoising,” CVPR’05. ? Guided Filterの論文 – K. He, J. Sun and X. Tang, “Guided Image Filtering,” ECCV’10. ? Guided Filterをコストボリュームに適用することによる応用の拡張 – C. Rhemann, A. Hosni, M. Bleyer, C. Rother, and M. Gelautz, ”Fast Cost-volume Filtering for Visual Correspondence and Beyond,” CVPR’11. ? クロススケルトンによる適用的インテグラルイメージ – K. Zhang, J. Lu, and G. Lafruit, “Cross-Based Local Stereo Matching Using Orthogonal Integral Images,” IEEE Trans. CSVT’09.
- 4. エッジキープ型のフィルタって 何？
- 6. エッジキープ型のフィルタの例 ? Median Filter ? (joint/cross) Bilateral Filter ? Non-local Means Filter ? BM3D ? Guided Filter ? (Cross-Orthogonal integral Image)
- 7. エッジキープ型のフィルタの応用 ? ノイズ除去 ? 輪郭強調 – 上記組み合わせの画像処理 ? HDR ? 超解像 ? MRFによる奥行き推定，背景差分，オプティカ ルフローの最適化の近似
- 9. Joint/Cross Bilateral Filter image IR image/Flash image
- 10. Joint/Cross Bilateral Filter image IR image/Flash image
- 14. median
- 15. ? Joint/Cross Filterの本当の効果 – ノイズ除去．．．それだけ？ Graph cut ? Belief Propagation ? そんな重たいもの使わなくても！？ – Ex: C. Rhemann, A. Hosni, M. Bleyer, C. Rother, and M. Gelautz, ”Fast Cost-volume Filtering for Visual Correspondence and Beyond,” CVPR’11.
- 16. Joint/cross filterの使い方 ? 結果にフィルタ – ～ map refinement/enhancement – 計算結果のポストフィルタとして利用 ? 尤度にフィルタ – Cost volume filtering – 尤度を量子化してその尤度mapを各量子化ス テップでフィルタしてその最小値?最大値を取る
- 17. Joint/Cross Filtering for BF Map + thresholdingで背景差分のrefinementにもなります．
- 18. Joint/Cross Filtering for Depth Map
- 19. Joint/Cross Filtering for Haze Map
- 20. Cost-Volume Filtering ? Markov Random Field(MRF)などのエネルギー関数は， データ項とスムース項が，有る値（ただし量子化ステップ内 の離散値）を取るときの値を最小化，最大化する(p：画素 位置，ｌ：ラベルor階調値) E(p,l) = Ed(p,l) + λEs(p,l) ? これをスムース項の代わりにフィルタとしてほぼ同じ意味 になるように表現（ｗ：重み） E(p,l) = ΣW(p,q) Ed(p,l) ? つまり，データ項が滑らかに変化するように＆参照画像の エッジをキープするように平滑化する． ? どちらかというとCRFに近い結果 ? もうちょっと抽象的に説明すると，MRF最適化はコストボ リュームにIIRフィルタをかけているのに近い．
- 21. Cost-Volume Filtering ? マルチラベル問題全般に使用可能 – ステレオ，背景差分オプティカルフロー，アルファマッティング，顕著 性マップ，ｘｘ map, etc…すべてに使用可能 ? ステレオマッチングを例に説明
- 22. Cost-Volume Filtering ? マッチングコストの計算 ? COST(p,d) = L(p) – R(p-d) :d=0 d=0 -
- 23. Cost-Volume Filtering ? マッチングコストの計算 ? COST(p,d) = L(p) – R(p-d) :d=1 d=1 -
- 24. Cost-Volume Filtering ? マッチングコストの計算 ? COST(p,d) = L(p) – R(p-d) :d=2 d=2 -
- 25. Cost-Volume Filtering ? マッチングコストの計算 ? COST(p,d) = L(p) – R(p-d) :d=3 d=3 -
- 26. Cost-Volume Filtering ? マッチングコストの計算 ? COST(p,d) = L(p) – R(p-d) :d=4 d=4 -
- 27. Cost-Volume Filtering ? マッチングコストの計算 ? COST(p,d) = L(p) – R(p-d) :d=5 d=5 -
- 28. Cost-Volume Filtering ? マッチングコストの計算 ? COST(p,d) = L(p) – R(p-d) :d=6 d=6 -
- 29. Cost-Volume Filtering ? マッチングコストの計算 ? COST(p,d) = L(p) – R(p-d) :d=0 d=7 -
- 30. Cost-Volume Filtering マッチングスコア，尤度マップ d=6 d=5 d=4 マッチングスコアボリューム d=3 d=2 別名: Disparity Space Volume DSV d=1 d=0
- 31. Cost-Volume Filtering もっともスコアの低いもしくは尤度の高いものをその値として採用 d=6 d=5 d=4 安定度が低い d=3 d=2 d=1 d=0 DMAP(p) = argmindCOST(p,d)
- 32. Cost-Volume Filtering argmin: もっちもスコアの低いもしくは尤度の高いものをその値として採用 d=6 d=5 d=4 マッチングスコアにフィルタする d=3 d=2 （Box Filterで→Block Matching） d=1 d=0 安定するが境界がおかしい
- 33. Cost-Volume Filtering argmin: もっちもスコアの低いもしくは尤度の高いものをその値として採用 d=6 d=5 d=4 マッチングスコアにフィルタする d=3 d=2 （Joint Bilateral Filterで） d=1 エッジもきれいに！ d=0
- 34. フィルタの欠点 ? フィルタって，基本的なものだけど大きなカー ネルだと計算は重たい． ? カーネルサイズ分の計算コスト！O（K） ? 特にバイラテラルフィルタは重たいことで有名 ? ただし，いろいろ高速化方法はある！
- 35. 本题の一歩手前
- 36. Guided Filter ? エッジ保持型のO(1)フィルタ ? バイラテラルフィルタに似た効果 ? FullHDの画像をCore i7を使って30fpsでフィル タ可能 ? GPUならさらにその十倍！？
- 37. Guided Filter詳細 ? 入力画像pはガイド画像Iのカーネル内の適当な 係数の線形変換であると仮定 – カーネル内にエッジは一つ – ?q = a?I – マッティングや超解像などに使われる – （係数a,bに入力画像pを用いる） qi ? ak I i ? bk , ?i ? ?k ある画像を線形変換(ax+b)すると目的の画像へ変わる
- 38. qi ? ak I i ? bk , ?i ? ?k の図解 ak カーネル ?k qi ＝ coefficient Image: a ? Ii bk Output Image: q Guidance Image: I coefficient Image: b
- 39. qi ? ak I i ? bk , ?i ? ?k の図解 ak カーネル ?k qi ＝ coefficient Image: a ? Ii bk Output Image: q Guidance Image: I coefficient Image: b
- 40. qi ? ak I i ? bk , ?i ? ?k の図解 ak カーネル ?k qi ＝ coefficient Image: a ? Ii bk Output Image: q Guidance Image: I coefficient Image: b
- 41. qi ? ak I i ? bk , ?i ? ?k の図解 ak カーネル ?k qi ＝ coefficient Image: a ? Ii bk Output Image: q Guidance Image: I coefficient Image: b
- 42. qi ? ak I i ? bk , ?i ? ?k の図解 カーネル ?k ak qi ＝ coefficient Image: a ? Ii Output Image: q Guidance Image: I bk coefficient Image: b
- 43. qi ? ak I i ? bk , ?i ? ?k の図解 カーネル ?k ak qi ＝ coefficient Image: a ? Ii Output Image: q Guidance Image: I bk coefficient Image: b
- 44. カーネル内の全ての係数で，辩=补滨+产が成り立つように係数を决定 つまり，あるカーネル内での線形最小二乗 ?qi ? ? a1 I i ? b1 ? ? a1 b1 ? ? I i 1? ?q ? ? a I ? b ? ? a b2 ? ? I i 1? ? i? ? 2 i 2 ? ? 2 ? ? ? ?qi ? ? ? ? ??? ? ? ? ? ?Ii 1? ? ? ? ? ? ? ? ? ?qi ? ?ak ?1 I i ? bk ? ? ?ak ?1 bk ?1 ? ? I i 1? ?qi ? ? ak I i ? bk ? ? ak ? ? ? ? ? bk ? ? I i ? ? 1? ?
- 45. 線形回帰 入力画素値pと出力qを誤差εのもとに線形回帰 μ：Iのカーネル内平均 σ:Iのカーネル内分散 上の解析解
- 46. 元の式に戻ると，补,产はもちろんノイズを含み，どの办を选ぶかによって出力が违う qi ? ak I i ? bk , ?i ? ?k こういうときはとりあえず平均！
- 47. バイラテラルフィルタのように変形 Ex:バイラテラルフィルタの場合 赤点中心のカーネル． 左：参照画像 中：guided kernel 右：bilateral kernel 白いほど重みが大きい
- 48. カーネルの意味 エッジが1つしかないと仮定しているため左の図解となる． 画素iをフィルタ位置としたときの参照画素jの重み： 右辺は，概ね，I,jの画素値が同じなら１をとり， 逆ならー１を取る．つまり重みは大体０～２． εの値が大きいと重みはほぼ１になる． ※この変形した様子から天下り的に理解したほうが分かりやすいかも
- 49. このフィルタ実は非常に高速 ? フィルタ計算が全てボックスフィルタと1画素 同士の加減算，乗算で出来ている． ? つまり，全てO(1)計算． ? イメージ：下のような処理を何回かやるだけ – 画像１と画像２を掛ける – それをボックスフィルタ – それを画像１と画像２のボックスフィルタをしたも のどうしをかけたものから引く
- 50. 復習：インテグラルイメージ(1/2) ? フィルタとは？ カーネルのたたみこみ 普通，O（ｋ）（ｋはカーネルサイズ）だけ計算時 間が必要
- 51. 復習：インテグラルイメージ(1/2) ? フィルタとは？ カーネルのたたみこみ 普通，O（ｋ）（ｋはカーネルサイズ）だけ計算時 間が必要
- 52. 復習：インテグラルイメージ(1/2) ? フィルタとは？ カーネルのたたみこみ 普通，O（ｋ）（ｋはカーネルサイズ）だけ計算時 間が必要
- 53. 復習：インテグラルイメージ(1/2) ? フィルタとは？ カーネルのたたみこみ 普通，O（ｋ）（ｋはカーネルサイズ）だけ計算時 間が必要 ５ｘ５のカーネルの場合1画素ごとに25回の演算が必要 ただし，ボックスフィルタのカーネルは全て１． （バイラテラルフィルタなどは画素ごとに違う） 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
- 54. 復習：インテグラルイメージ（2/2） １．積分画像を作成 （サイズは(x+1,y+1)で左上を0でパディング 積分画像とは？ 左上から注目画素までの矩形の値の 総和を保持した画像 左上から順々に足していくだけ 積分値 ２．４つの値の加減算で矩形の面積を求める
- 55. 復習：インテグラルイメージ（2/2） １．積分画像を作成 （サイズは(x+1,y+1)で左上を0でパディング 積分画像とは？ 左上から注目画素までの矩形の値の 総和を保持した画像 左上から順々に足していくだけ 積分値 ２．４つの値の加減算で矩形の面積を求める
- 56. 復習：インテグラルイメージ（2/2） １．積分画像を作成 （サイズは(x+1,y+1)で左上を0でパディング 積分画像とは？ 左上から注目画素までの矩形の値の 総和を保持した画像 左上から順々に足していくだけ 積分値 ２．４つの値の加減算で矩形の面積を求める
- 57. 復習：インテグラルイメージ（2/2） １．積分画像を作成 （サイズは(x+1,y+1)で左上を0でパディング 積分画像とは？ 左上から注目画素までの矩形の値の 総和を保持した画像 左上から順々に足していくだけ 積分値 ２．４つの値の加減算で矩形の面積を求める
- 58. 復習：インテグラルイメージ（2/2） １．積分画像を作成 （サイズは(x+1,y+1)で左上を0でパディング 積分画像とは？ 左上から注目画素までの矩形の値の 総和を保持した画像 左上から順々に足していくだけ 積分値 ２．４つの値の加減算で矩形の面積を求める
- 59. 復習：インテグラルイメージ（2/2） １．積分画像を作成 （サイズは(x+1,y+1)で左上を0でパディング 積分画像とは？ 左上から注目画素までの矩形の値の 総和を保持した画像 左上から順々に足していくだけ 積分値 ２．４つの値の加減算で矩形の面積を求める
- 60. 復習：インテグラルイメージ（2/2） １．積分画像を作成 （サイズは(x+1,y+1)で左上を0でパディング 積分画像とは？ 左上から注目画素までの矩形の値の 総和を保持した画像 左上から順々に足していくだけ 積分値 ２．４つの値の加減算で矩形の面積を求める
- 61. やっと本题
- 62. Guided Filterの制限 ? フラットな平滑化が出来ない（L0のような） – つまりエッジと勾配を維持するフィルタ ? 勾配はほとんどないと仮定できるときはエッジの み維持したフィルタにしたい – BFやNLFはエッジ保持のみのフィルタで勾配は保持さ れない ? ハイコントラストエッジ周辺は実はうまくいかない
- 63. ハイコントラストエッジ周辺の问题
- 64. 今回の論文の拡張部分！ ? とりあえず平均が気に食わない！全領域で線形回帰 はあり得ない！ – 係数a,bはオブジェクトの属する領域によって大きく変化す るはず！ ? Cross-Based Local Multipoint Filtering（CLMF） と名付けよう ? 同一領域以外は平均に使わないようにしたい ? でも同一領域を決めるために，セグメンテーションした ら，このフィルタの高速性が生きない．．．
- 65. カーネル内の全ての係数で，辩=补滨+产が成り立つように係数を决定 条件を満たす場所だけで あるカーネル内での重み付き線形最小二乗 重みwik（画素位置iの時のカーネル位置ｋの時の重み） ※厳密に調べていないが，ほぼWLSと同じ式？ A. Levin, D. Lischinski, Y. Weiss, “Colorization using optimization,” SIGGRAPH’04. Z. Farbman, R. Fattal, D. Lischinski, R. Szeliski, “Edge-preserving decompositions for multi-scale tone and detail manipulation,” SIGGRAPH’08. ?qi ? ? a1 I i ? b1 ? ? wi1 wi1 ? ? a1 b1 ? ? I i 1? ?q ? ? a I ? b ? ? i i ? ? a2 b2 ? ? I i 1? ? i? ? 2 i 2 ? ? w 2 w2 ? ? ? ? ? ?qi ? ? ? ? ??? ??? ? ? ? ? ?Ii 1? ? ? ? ? ? i ? ? ? ? ? ?qi ? ?ak ?1 I i ? bk ? ? ? w k ?1 i w k ?1 ? ?ak ?1 bk ?1 ? ? I i 1? ?qi ? ? ak I i ? bk ? ? wi k ? ? ? ? ? wi k ? ? a k ? ? bk ? ? I i ? ? 1? ?
- 66. ? 1画素ごとに重み付き最小二乗を解いていた らとてもじゃないけど計算が複雑． ? 重みを0/1にしたら簡単な解法が！
- 67. カーネル内の全ての係数で，辩=补滨+产が成り立つように係数を决定 条件を満たす場所だけで あるカーネル内での重み付き線形最小二乗 ※重みwik（画素位置iの時のカーネル位置ｋの時の重み） は，0 or 1のhard thresholding ?qi ? ? a1 I i ? b1 ? ? wi1 wi1 ? ? a1 b1 ? ? I i 1? ?q ? ? a I ? b ? ? i i ? ? a2 b2 ? ? I i 1? ? i? ? 2 i 2 ? ? w 2 w2 ? ? ? ? ? ?qi ? ? ? ? ??? ??? ? ? ? ? ?Ii 1? ? ? ? ? ? i ? ? ? ? ? ?qi ? ?ak ?1 I i ? bk ? ? ? w k ?1 i w k ?1 ? ?ak ?1 bk ?1 ? ? I i 1? ?qi ? ? ak I i ? bk ? ? wi k ? ? ? ? ? wi k ? ? a k ? ? bk ? ? I i ? ? 1? ?
- 68. Cross based local filter (CLF) ? 形が適応的なジョイントボックスフィルタ Integral Imageを使用 普通のボックスフィルタ 重みが一定の矩形フィルタ Integral image によりO(1)で計算可能 p
- 69. Cross based local filter (CLF) ? 形が適応的なジョイントボックスフィルタ – Cross Based Orthogonal Integral Imageを使用 OIIを使った適応的ボックスフィルタ 重みが０or１と適応的に変化するフィルタ 通常ならフィルタ半径内の係数を 計算しなければならないが．．．
- 70. Cross based local filter (CLF) ? 形が適応的なジョイントボックスフィルタ – Cross Based Orthogonal Integral Imageを使用 下記手順でO（１）化 フィルタターゲットのエッジなどの情報を 用いてクロス（十字）を作成 まず，水平にインテグラルイメージ作成 各画素のクロスの水平成分に沿った 積分値を計算． 最後に縦方向に同様の処理 セパレータブルフィルタと同じような原理
- 71. クロスの計算方法 ? argmax r ? for r = 0:max r V(p) < V(p-r)
- 72. クロスとカーネルの例 (a) クロス (b) 積分領域拡大図 (c) さまざまな积分区间の例
- 73. GF→CLMFへの式変形 ? Σの係数の平均?分散の計算（つまりボックスフィ ルタ）を全部COIIに変換するだけの簡単なお仕 事． ? 最後の係数a,bについては有効な画素の多さに 応じて重み付き平均 – Weighted averageもO(1)で計算可能 – ex) 重み画像W，入力画像Iとしてその重み付き平均 – W-Average(W,I) = 1/ΣW * ΣI*W ? 計算コストはO（１）のまま
- 74. GF→CLMFへの式変形 ? ついでにGuided Filterをより一般化 – aX+bで変換する１次変換 – X+bで変換する０次変換 に拡張
- 75. フィルタの効果まとめ バイラテラル： 点ベースでエッジのみを保持． 速度は遅い．かなり遅い． CLF： 点ベースでエッジのみを保持． 速度は最高速．ただし，クロスの計算がO(W+H) CLMF-0（提案）： 多点ベースでエッジのみを保持． 速度は最高速（2番目） GF（従来）： 多点ベースでエッジと勾配を保持． 速度はそこそこ高速（3番目）core i7FulHD→30fps CLMF-1（提案）： 多点ベースでエッジと勾配みを保持． 速度はそこそこ高速（4番目）おそらくGFの2倍以内
- 76. 結果 ? 平滑化結果 ? ノイズリダクション ? ステレオ ? Flash-no-flashイメージ
- 77. エッジ保持平滑化结果
- 79. ノイズリダクション
- 80. Depth estimation over CVF
- 81. Depth upsampling(x8) & Depth noise reduntion
- 82. Flash/No-Flash
- 83. まとめ ? エッジ保持型のフィルタBilateral FilterのJoint bilateral filterへの拡張とその応用例の解説 ? 高速なエッジ保持フィルタGuided Filter（GF） の解説 ? GFの拡張CLMFの解説（ここが主題）