Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
- 1. Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
- 3. Novel View Synthesis ? いくつかの観測から, 別視点の画像を予測 するタスク ? 脳科学の分野における?的回転（メンタル ローテーション）という現象と関連が深い ? ?間は?に思い浮かべたイメージを回転さ せることができる ? CVpaperchallengeのNovel View Synthesisの発表が??かったので関連 論?を紹介します ShepardとMetzlerの実験 よくわかる認知科学（乾、吉川、川? 編、2011、ミネルヴァ書房）pp.61
- 4. 例 : Generative Query Network (GQN) ? Novel view synthesisのタスクを通して, 空間の情報を集約するシー ン表現 (scene representation) を獲得 ? Eslamiらは, これをconditional VAEの枠組みで実現する?法を提案 ? ?本語だと??さん, 鈴?さんの解説資料がわかりやすいです ? /MasayaKaneko/neural-scene- representation-and-rendering-33d ? /DeepLearningJP2016/dlgqn-111725780 S. Eslami et al. Neural Scene Representation and Rendering, Science, 2018.
- 5. Novel View Synthesis ? cvpaperchallengeの発表では, タスクの概要?論?の紹介?未解決問題な どを紹介していただいた ? 未解決問題は以下の項?等が挙げられた ? カテゴリに依存しない新規視点画像?成 ? 複数物体のnovel view synthesis ? 実データにおけるnovel view synthesis ? 未知視点への汎化 ? 発表を聞いて, 近年はシーン表現をどのようにモデリングするかという所 が重要そうだと思った
- 6. Novel View Synthesis論? ? Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations ? Visual Object Networks: Image Generation with Disentangled 3D Representations ? Transformable Bottleneck Networks ? DeepVoxels: Learning Persistent 3D Feature Embeddings ? Geometry-Aware Recurrent Neural Networks for Active Visual Recognition ? Multi-view to Novel view: Synthesizing novel views with Self-Learned Confidence ? Transformation-Grounded Image Generation Network for Novel 3D View Synthesis ? View Synthesis by Appearance Flow ? Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
- 7. Novel View Synthesis論? ? Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations ? Visual Object Networks: Image Generation with Disentangled 3D Representations ? Transformable Bottleneck Networks ? DeepVoxels: Learning Persistent 3D Feature Embeddings ? Geometry-Aware Recurrent Neural Networks for Active Visual Recognition ? Multi-view to Novel view: Synthesizing novel views with Self-Learned Confidence ? Transformation-Grounded Image Generation Network for Novel 3D View Synthesis ? View Synthesis by Appearance Flow ? Learning Spatial Common Sense with Geometry-Aware Recurrent Networks 今?発表するやつ
- 8. Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
- 9. 書誌情報 ? CMUの研究チームによる論? ? last authorのFragkiadaki?は機械に映画を理解させるのが?標らしい ? 本研究もそのために必要な技術という位置ずけ？ ? CVPR2019 oral にそれぞれ採択 ? この研究は、多視点の情報を3Dの潜在表現として統合する?法の提案を している ? geometryの知識をdeep learningのモデルに導? ? オクルージョンに強い ? 特に記載のない場合, 図は本論?からの引?
- 10. 概要 ? 複数の2D画像から抽出した特徴を3Dの潜在表現に統合する?法の提案 ? 提案?法では微分可能な幾何的な操作(投影, 再投影, ego-motion estimationなど) を deep learningに取り?れた ? 現実世界と3D featureの位置的な関連は保存している ? 提案したモデルは短い画像列から新規視点のviewを予測するタスクで学習 ? さらに, 3D segmentationや3D object detectionも学習可能 ? 特に検出の問題では物体の永続性を考慮した検出 (オクルージョンに強い) ? 実体を持つvisual agentにspatial common senseを持たせるために必要な 技術であると結論づけた
- 11. 背景, モチベーション ? 近年の画像認識モデルは?間が持つ物体の永続性や空間認 識能?を持ち合わせていない ? 動画で物体がすれ違った時に, 隠れている部分にも物体は存在し たままのはず (永続性) ? このような能?は 画像+ラベル のデータを?いた教師あり学習 では獲得されない ? 新しいモデルを提案する必要がある ? 2D画像のシーケンスを3D featureに統合するGeometry- aware RNNの提案 1. 2D featureを3D空間に逆投影 (unprojection) 2. ego-motionの予測 3. GRUでシーンの3D featureを更新 ? 提案?法は, SLAMから着想を得た部分が?きい
- 12. 提案?法のadvantage ? 新規視点予測のタスクにおける汎化性能が?い ? geometryを考慮しない?法 (GQN) の性能を?きく上回る ? ただし, ego-motionの推定をせずGTを使った場合であることに注意 ? 3D segmentationや3D object detectionにも適?可能 ? 視点の変化に伴う?時的なオクルージョンに頑健な検出結果を得た ?物体の永続性 (object permanence) を理解した認識?法である！ ? 実装公開あり ? https://github.com/ricsonc/grnn
- 13. 提案?法 ? 提案?法 (上図) は4つのポイントからなる 1. Unprojection 2. Egomotion estimation and stabilization 3. Recurrent map update 4. Projection and decoding Given
- 14. Unprojection 1. CNN (2D U-net) で2D特徴マップを抽出 2. 2D特徴マップを3D空間に逆投影 3. depthマップから同じサイズの3D occupancy gridを作成 (物体がある位置は1, それ以外は0にな るテンソル) 4. 3D U-netを?いて3D feature !?# を抽出 ① ② ④
- 15. Egomotion estimation and stabilization ? 視点は距離を変えずに, ?度のみ変化するとい う仮定 ? 新しい視点のから作成した3Dテンソル !?# を, いくつかの異なる?度で回転させる → !?$%# ? 考えられる?度の数だけ !?$%# を作成 ? その時刻の3D feature memoryと内積をとり 最もスコアの?い?度を推定したego-motion とする → !?# & ? 実際にはスコアで重み付け平均をとる処理を ?なっている ? 推定した?度で再度変換を?なった後, GRUに??
- 16. Recurrent map update ? Egomotion estimationにより向きを合わせた3D feature !?# & を3D convolutional Gated Recurrent Unit (GRU) layerに?? ? 隠れ状態の3D feature memory : ?#を更新していく ? ?#の初期値は0とした ? Novel View PredictionのタスクではGRUを使わず に平均をとる処理でも同じような性能が得られた
- 17. Projection and decoding ? 得られた3D feature memory ?#を?いてタスクを ?う部分のネットワーク構造 ? クエリの視点 : ? を与え, ?# を変換 ? 各depthの値に応じた2D featureに投影しstack → ?* ? ?*をconvLSTMで ? に対応するRGB画像へdecode ? 物体のvisibilityは明?的には与えずNNの計算に任 せる ? ?うタスクとしてはview predictionと3D MaskRCNNがある
- 18. Projection and decoding ? View predictionの場合は?#を右の図の ようにdecodeして画像をレンダリング する ? 3D MaskRCNNでは, ?# の候補領域の 部分をROI poolingして, その部分を decodeすることにより物体マスクを? 成
- 19. 実験 ? 検証したいのは以下の問い 1. GRNNsはspatial common senseを学習するか 2. geometryを考慮したネットワーク構造はspatial common senseを獲得するの に必要か 3. GRNNsの性能について ? spatial common senseは, ?間が持つ空間認識能?全般を指す (広い意味) ? 3D shapeは2D平?を膨らませることで?成可能 ? シーンは物体から構成される ? 3次元物体は交差しない ? 物体は急に存在を消したりしない
- 20. View prediction ? 複数画像の??を元に, 新しい視点の画像を予測 するタスク ? 実験に?いたデータセット ? ShapeNet : 学習データは2つの物体を観測するという設定で 準備 ? Shepard-metzler : テトリスみたいなやつ ? Rooms-ring-camera dataset from : 部屋の中にランダムに物 体があるようなデータセット ? ?較対象 : GQN ? 条件を揃えるため, 提案?法でdepth mapのGTは?いず, ego- motionのGTは?いた
- 21. View prediction ? 再構成誤差は提案?法の?が?さい ? より正确に予测ができた
- 24. 3D object detection and segmentation ? 具体的にはinstance segmentationのタスクを?なっている ? ShapeNetでデータセットを作成 ? mean Average Precision (mAP)で評価 ? 4つの設定で検証 ? geometry-awareでないモデル + ego-motionのGT + depthのGT ? GRNN + ego-motionのGT + 推定したdepth ? GRNN + ego-motionのGT + depthのGT ? GRNN + 推定したego-motion + depthのGT ? 両?推定するのはやらないの…?
- 25. 3D object detection and segmentation ? GRNN + ego-motionのGT + depthのGT の結果が最も良い (それはそう) ? mAP0.75においてはGRNNはgeometry-awareでないモデルよりも良い結果 ? geometry-awareな提案?法の優位性は?せた ? ego-motionとdepthを両?推定できるとさらに良さそう
- 26. 3D object detection and segmentation ? 複数の視点の観測を統合することで, オクルージョンに頑健な検出を実現
- 27. まとめ ? spatial common senseを獲得するため, 2D画像列から3D featureを?成す るネットワーク構造を提案 ? unprojection, ego-motion estimationなど, 微分可能なgeometricな処理を ?いることにより実現 ? 新規視点予測のタスクにおいて, 低い再構成誤差や?い汎化性能を?した ? 3D object detection & segmentationにおいては, オクルージョンに頑健 な検出ができたことを確認 ? Future works ? 現実のデータ?動的なシーンなどに適?可能なモデルの提案 ? 4Dテンソルのスパース性を?いた計算効率の向上
- 28. 関連研究 ? Geometry-Aware Recurrent Neural Networks for Active Visual Recognition ? NeurIPS 2018に採択 ? 同じ研究グループの論? ? 同様のシステムを動的に観測位置を変化させるエージェントに適? ? よりinformativeな?向を視点を動かす?策を学習できた R. Cheng et al. “Geometry-Aware Recurrent Neural Networks for Active Visual Recognition”, NeurIPS, 2018. R. Cheng et al. Supplemental materials of “Geometry-Aware Recurrent Neural Networks for Active Visual Recognition”, NeurIPS, 2018.
- 29. おまけ : Novel View Synthesis サーベイ
- 30. View Synthesis by Appearance Flow ? Novel view synthesis のタスクを, 2D画像からのフロウを推定することにより解 いた。 ? フレームワーク全体は下図のようになる。これは?気通貫に学習することができ る。 T. Zou et al. “View Synthesis by Appearance Flow”, in ECCV, 2016.
- 31. Transformation-Grounded Image Generation Network for Novel 3D View Synthesis ? NovelViewSynthesisのタスクにおいて、新規視点でのオブジェクトのうちソー ス画像で?えている部分はそれをコピーして?い、残りの部分はGANで?成する ような枠組みを提案した。ネットワークはdisocclusion-aware appearance flow network (DOAFN) とcompletion networkから構成される。 ? 先?研究のAppearance Flow Network (AFN) よりもよい結果を得た。 E. Park et al. “Transformation-Grounded Image Generation Network for Novel 3D View Synthesis”, in CVPR, 2017.
- 32. Visual Object Networks: Image Generation with Disentangled 3D Representations ? 3Dを考慮した画像?成を?う?法の提案 ? 3D shapeの?成→ターゲット視点に対応した深度画像とマスクに変換→ テクスチャコードを与えて画像にCNNでレンダリング J. Zhu et al. “Visual Object Networks: Image Generation with Disentangled 3D Representations”, in NeurIPS, 2018.
- 33. Multi-view to Novel view: Synthesizing novel views with Self-Learned Confidence ? 複数視点の画像から、新規視点の画像を?成する?法の提案。フレームワークはFlowPredictorと Recurrent Pixel Generatorからなり、前者はソース画像からターゲット画像へのフロウを推定し、 後者は??から直接画像を復元することを試みる。最後にこれらを確信度で重み付けをして統合す る。 ? 3DCGのオブジェクトを?いて実験を?い当時のSOTAとなった。 S. Sun et al. “Multi-view to Novel view: Synthesizing novel views with Self-Learned Confidence”, in ECCV, 2018.
- 34. Transformable Bottleneck Networks ? 2D画像をCNNにより3Dの編集ができるようにする?法の提案。 ? 画像から3D featureを抽出し、そこにターゲットポーズに関する変形を?れたのち2Dへ の投影を?い、画像の再構成など後段のタスクを?う。 ? これにより剛体変換にとどまらない3Dを考慮した画像編集を?うことができる。 K. Olszewski et al. “Transformable Bottleneck Networks”, 2019.
- 35. DeepVoxels: Learning Persistent 3D Feature Embeddings ? 画像シーケンスを1つのボクセル表現に落とし込む?法の提案。 ? 提案?法のフレームワークは以下の順で処理を?う。 ? 画像から2D featureを抽出→2D featureを3D featureに再投影→これらを画像シーケンスについて?いGRUで統合 →3D featureをターゲットの視点へ投影し画像を再構成 ? この再構成誤差により全体のフレームワークの学習を?う。 ? 提案?法はnovel view synthesisの性能が良い。 V. Sitzmann et al. “DeepVoxels: Learning Persistent 3D Feature Embeddings”, in CVPR, 2019.
- 36. DeepVoxels: Learning Persistent 3D Feature Embeddings V. Sitzmann et al. “DeepVoxels: Learning Persistent 3D Feature Embeddings”, in CVPR, 2019.
- 37. 参考?献 ? S. Eslami et al. Neural Scene Representation and Rendering, Science, 2018. ? T. Zou et al. “View Synthesis by Appearance Flow”, in ECCV, 2016. ? E. Park et al. “Transformation-Grounded Image Generation Network for Novel 3D View Synthesis”, in CVPR, 2017. ? J. Zhu et al. “Visual Object Networks: Image Generation with Disentangled 3D Representations”, in NeurIPS, 2018. ? S. Sun et al. “Multi-view to Novel view: Synthesizing novel views with Self-Learned Confidence”, in ECCV, 2018. ? K. Olszewski et al. “Transformable Bottleneck Networks”, 2019. ? V. Sitzmann et al. “DeepVoxels: Learning Persistent 3D Feature Embeddings”, in CVPR, 2019. ? R. Cheng et al. “Geometry-Aware Recurrent Neural Networks for Active Visual Recognition”, NeurIPS, 2018. ? H. Tung et al. “Learning Spatial Common Sense with Geometry-Aware Recurrent Networks”, in CVPR, 2019.