狠狠撸

1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Differentiable Mapping Networks: Learning
Structured Map Representations for Sparse
Visual Localization Jumpei Arima

書誌情報
? タイトル：
Differentiable Mapping Networks:
Learning Structured Map Representations for Sparse Visual Localization
? 著者： Peter Karkus, Anelia Angelova, Vincent Vanhoucke, Rico Jonschkowski
– first authorはNational University of Singapore
– Robotics at Googleでのインターン中の成果
? 会議：ICRA2020
? project page: https://sites.google.com/view/differentiable-mapping
? arxiv: https://arxiv.org/abs/2005.09530
2

背景
? Robot 学習の課題
– 実データのコストが高い、reality gap、Long horizon task、…
? Visual Navigation
– DD-PPO: LEARNING NEAR-PERFECT POINTGOAL NAVIGATORS FROM 2.5 BILLION FRAMES[ICLR2020]
? simでのvisual navigation方策獲得に2.5 billion steps(180 days of GPU-time)
3
?データ効率を上げる
?従来のRoboticsの技術の活用
?Robotics特有の事前知識の導入

背景
? Differentiable Algorithm Networks for Composable Robot Learning[RSS2019]
– データ駆動とモデル駆動の利点を融合した手法
? Learning Explore Using Active Neural SLAM[CVPR2020]
– habitat challenge2019優勝チームの手法
– Mapping, Localization, Planningを別々に学習(一部解析的手法含む)
– 階層的なシステムで、サンプル効率?性能ともに向上
4

背景
? 微分可能なRobotics研究
5

問題設定
<Sparse visual mapping and localization>
→street viewから得られるな情報(数視点からの画像)からMappingし
与えられた画像から位置を推定する
<課題>
? 疎な情報だけからマッピングをする
? 視点が大きく変わったところから
推定する必要がある
＜応用先＞
? 自動運転(都市環境での自己位置推定)
? multi-robot mapping
? 外観の変化が多い倉庫 etc.
6

背景
<良い地図表現とは>
? 地図は環境の変化と下位タスク(自己位置推定など)のために
柔軟に対応する必要がある
? 少ないデータから空間構造を構築する必要がある
<従来のマッピング> ＜DNNを用いた手法＞
?空間構造 ?柔軟に対応可能
?変化に対応しづらい ?タスクに特化したマップ生成可能
?タスクごとに変更できない ?空間構造が欠ける 7

Proposed Method
? DNNによる柔軟な環境表現と幾何情報による空間把握を
組み合わせた方法を提案
→全体が微分可能なモデルなので、タスクに特化したマップ表現が可能
8

Proposed Method
<Mapping>
数視点からの画像から潜在Mapを生成
<Egocentric Spatial Attention>
query視点から潜在Mapを解釈
するための注意機構
(query視点に潜在Mapを座標変換)
<Particle Filter Localization>
微分可能なPFで自己位置推定
9

Proposed Method
<Mapping>
? Context画像を
画像埋め込み表現: ? ?
視点座標:
? ?
= (?, ?, ????, ????)
で表現された潜在マップ m を生成
? Feature Extractorは4層のCNN
– Context画像間で重みは共有
10
? = < ? ?, ? ? > ? = 1: ??

Proposed Method
<Egocentric Spatial Attention>
? query基準の空間構造に対しての注意機構
? query keyとview keysのスカラ積を重みとした
Context画像埋め込み表現を重み付け和を算出
? 地図の空間構造を活用し、特徴量抽出の難易度を大幅に減少する
11

Proposed Method
＜Particle Filter Localization＞
? Differentiable PFを用いて潜在マップとquery画像から自己位置推定を行う
? ?? ? ≈< ??
?
, log ? ?
?
> ? = 1: ?
– ??
?
: ロボットの候補位置(query画像の視点)←初期分布?0
– log ? ?
?
: particleの対数尤度
12
Observation Model
log ? ?
?
=
log ? ? + log ? ??1
?
+ ?
m:View embedding map
Transition Model
??
?
= ??(???1
?
?, ? ?)
?? =
?
? ?
?
??
?

Proposed Method
<Observation Model>
? particleの位置??
?
と潜在マップ? を与えられたとき
画像?? を観測する条件付き対数確率
? ?(??, ??
?
, ?) ≈ log ?(??|??
?
, ?) を推定
? Networkはparticleの対数尤度? ?
?
= log ?(??|??
?
, ?)を直接出力する
log ? ?
?
= log ? ?(??, ??
?
, ?) + log ? ??1
?
+ ?
– 正規化されてないので
? = ? log ?=1
?
?log ? ?
?
で正規化する
? particle間で学習パラメータは共有
13

Proposed Method
＜End-to-End training＞
? DMNは全体が微分可能であるので、localizationのタスクに対してマッピン
グを最適化するように学習が可能。
? 損失関数はMSE (αはハイパラ(0.5))
? = ? ? ?? 2 = ? ? ?? 2 + (? ? ??)2+ ?(? ? ??)2
コンテキストの数とパーティクルの数は重みを共有しているので
変えることが可能
14

Experiments
<dataset>
? sim: GQN dataset(データ量はGQNの1%)
– Rooms(100k env * 10img), Mazes(960 env * 300 img)
? real: Street View dataset
– 40*40mの範囲からランダムに10画像をsample(train:3838746test: 16359)
<評価>
? Global LocalizationとTrackingにおける自己位置推定精度
– (x,yのRMSEが8.94m以下(範囲の約15%)のときglobal localizationが成功とする)
15

Experiments
＜比較手法＞
? Mapping
– Latent image map
? 空間構造を明に表現しないnetwork
– Latent vector map
? Latent image mapのmap部分をvectorで表現
? Localization
– Regression
? 回帰によってposeを直接推定(DMNのparticleが一つと同じ)
– Closet context
? query poseに最も近いcontextのpose(画像の類似度による手法の上限としての指標)
– Uninformed estimate
? 初期分布から狀態遷移のみを考慮した場合(タスクの難しさを示す)
16

Experiments
<simでのGlobal Localization>
? 複雑な環境になると(Rooms →Mazes)
RegressionよりPFが優れていることがわかる
17

Experiments
<realでのGlobal Localization>
? 提案手法であるView-embed(提案手法)とPF(提案手法)の双方が
real dataの複雑で広範囲のlocalizationには効果的であることがわかる
18

Experiments
<5stepのtracking後の自己位置推定精度>
? Street Viewで最も提案手法の有用性が示せてる
? PFが複雑な環境で効果的
19

Experiments
<データ効率(Fig. 7)>
比較手法に比べてtrainingデータ量が少ない時に性能が高い
＜Contextの数(Fig. 8,9)＞
Contextの数の上昇によっての成功率の増加率は提案手法が高い
20

Experiments
<長距離tracking精度 (Fig. 10) >
PFが長距離を考えるには適している
<particleの数 (Fig. 11) >
増やした方が良い結果(計算コストとトレードオフ)
21

Conclusion
? Sparseな画像のみが与えられるLocalizationに最適化された
微分可能な地図生成ネットワーク(DMN)を提案
? Egocentric Spatial Attentionで空間的に構造化された潜在マップを
用いることで、広範囲な複雑な環境において、
学習データが少なくても適用できることを示した
＜Future Work＞
? 世界中どこでもVisual Localizationを可能にする
? 微分可能なVisual SLAMへの応用
22

狠狠撸

[DL輪読会]Differentiable Mapping Networks: Learning Structured Map Representations for Sparse Visual Localization

Recommended

More Related Content

What's hot (20)

Similar to [DL輪読会]Differentiable Mapping Networks: Learning Structured Map Representations for Sparse Visual Localization (20)

More from Deep Learning JP (20)

Recently uploaded (6)

[DL輪読会]Differentiable Mapping Networks: Learning Structured Map Representations for Sparse Visual Localization