CV分野での最近の脱○○系論文3本を紹介します。
?脱ResNets: RepVGG: Making VGG-style ConvNets Great Again
?脱BatchNorm: High-Performance Large-Scale Image Recognition Without Normalization
?脱attention: LambdaNetworks: Modeling Long-Range Interactions Without Attention
1. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自動運転システムと自己位置推定/地図生成
トヨタIT開発センター 加藤 整
2016年11月22日 @札幌コンベンションセンター
1G空間情報セミナー
2. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
本日のゴール
2
Stanford Junior、Google Car、Autoware?など自律型自動運転システムに関する
公開情報を基に自律型自動運転システムを構成する要素技術の概要を具体的に理解する
?http://www.pdsl.jp/fot/autoware/
本発表は私個人の見解であり、所属する組織やグループ企業の立場、戦略、意見を代表するものではありません
G空間情報セミナー
3. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
目次
1 自動運転システム概要
2 自動運転システムを構成する技術
2-1 自己位置推定と地図生成
3
2-2 物体認識と深層学習、GPGPU
2-3 経路計画/軌道生成、経路追従と車両制御
3 まとめ
G空間情報セミナー
4. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
目次
1 自動運転システム概要
2 自動運転システムを構成する技術
2-1 自己位置推定と地図生成
4
2-2 物体認識と深層学習、GPGPU
2-3 経路計画/軌道生成、経路追従と車両制御
3 まとめ
G空間情報セミナー
5. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
問題:これらのイノベーションの共通点は?
5
https://en.wikipedia.org/wiki/Internet,https://en.wikipedia.org/wiki/Global_Positioning_System,
https://en.wikipedia.org/wiki/Autonomous_car, https://ja.wikipedia.org/wiki/IPhone_4S
GPS
インターネット Siri
自動運転車
G空間情報セミナー
6. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 6http://www.darpa.mil/ G空間情報セミナー
7. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
DARPA概要
DARPAはスプートニクショックを受けて58年に設立以来、多くのイノベーションへ貢献してきている
7
ソ連、スプートニク1号
打ち上げ成功
1957年
高等研究計画局
設立
1958年
ARPANET
1969年
1978年
GPS
DARPA Grand Challenge
2004,2005年
2007年
DARPA Urban Challenge
https://en.wikipedia.org/wiki/Sputnik_1, https://en.wikipedia.org/wiki/DARPA, https://en.wikipedia.org/wiki/ARPANET
https://en.wikipedia.org/wiki/Global_Positioning_System, http://archive.darpa.mil/grandchallenge04/
http://archive.darpa.mil/grandchallenge/index.html, https://en.wikipedia.org/wiki/DARPA_Robotics_Challenge
https://cgc.darpa.mil/
Robotics Challenge
2012-15年
2014-2015年
Cyber Grand Challenge
G空間情報セミナー
8. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 8https://www.ted.com/talks/sebastian_thrun_google_s_driverless_car?language=en G空間情報セミナー
10. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 10
DGC 2005,
スタンフォード大学 Stanley優勝
DGC 2007
スタンフォード大学 Junior準優勝
https://en.wikipedia.org/wiki/Stanley_(vehicle), http://archive.darpa.mil/grandchallenge/gallery.html
https://www.youtube.com/watch?v=bDOnn0-4Nq8, https://www.udacity.com/
S. Thrun et al., Stanley, the robot that won the DARPA Grand Challenge, Journal of Field Robotics, 2006
M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008
2011,オンライン教育機関Udacity設立
2009
Google Self-Driving Cars
G空間情報セミナー
11. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
DARPA Urban Challenge 2007
DARPAはオフロードにおける軍事作戦を想定した2004年2005年のGrand Challengeに続き、
市街戦を想定したUrban Challengeを2007年に実施
11
Why develop autonomous vehicles?
The National Defense Authorization Act for Fiscal Year 2001, Public Law 106-398,
Congress mandated in Section 220 that “It shall be a goal of the Armed Forces to
achieve the fielding of unmanned, remotely controlled technology such that… by 2015,
one-third of the operational ground combat vehicles are unmanned.” DARPA conducts
the Urban Challenge program in support of this Congressional mandate. Every “dull,
dirty, or dangerous” task that can be carried out using a machine instead of a
human protects our warfighters and allows valuable human resources to be
used more effectively.
http://archive.darpa.mil/grandchallenge/docs/Urban_Challenge_Team_Welcome_Meeting.pdf G空間情報セミナー
12. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
DARPA Urban Challenge 2007コースレイアウト
エリアA(交差点左折、交通への流入)、エリアB(ナビ、駐車)、エリアC(交差点通過、Uターン)の
3つのエリアからなる
12http://archive.darpa.mil/grandchallenge/docs/Urban_Challenge_Team_Welcome_Meeting.pdf G空間情報セミナー
14. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
DARPA Urban Challenge 2007の結果
89台のチームが応募、準決勝を通過した11チーム中、6チームがチェッカーフラグを受ける。
優勝はTatan Racing、$2Mを獲得
14http://archive.darpa.mil/grandchallenge/gallery.html
1位: CMU
4:10:20
2位: Stanford
4:29:28
3位: Virginia Tech.
4:36:38
5位: U. Penn.
> 6hours
6位: Cornell
> 6 hours
4位: MIT
Approx 6 hours
G空間情報セミナー
15. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 15
Applanix INSVelodyne laserRiegl laser SICK LMS laser
SICK LDLRS laserDMIIBEO laserBOSCH Radar
LiDAR
GNSS/慣性走行装置
ミリ波レーダー
走行距離計
6軸慣性センサは搭載せず
M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008 G空間情報セミナー
16. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
Juniorにおけるソフトウェアフローダイアグラム
センサー、位置推定モジュール、物体検出モジュール、UKF姿勢推定モジュール、軌道生成器等からなる
16M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008 G空間情報セミナー
17. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
DARPA Urban Challenge 2007の意義
Googleによる自律型自動運転システムへの研究開発に引続き、2013年以降自動車会社や
部品会社から自動運転システムの発表が相次ぐ
17
路車協調方式
http://www.path.berkeley.edu/publications/general-publications, https://www.youtube.com/watch?v=7Yd9Ij0INX0
自律走行型
G空間情報セミナー
18. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自律走行型自動運転システムを構築する要素技術
自律走行型自動運転システムを構築する要素のうち、太文字について続く頁にて説明する
18
経路計画
軌道生成
SLAM
自己位置推定
物体検出
経路追従
車両制御
地図生成
必要な技術処理内容
高精度3次元地図の生成
認知
判断
操作
フェーズ
LIDAR, GNSS, カメラを搭載した車両を走らせ、点
群データを収集。点群データから高精度3次元地図を
作成
スキャンデータと、前述の3次元地図データが重なるよう
スキャンマッチング、地図内の位置、向きを算出(自己
位置推定)。他の車両や信号等物体検出
スタートからゴールまでの大まかな経路に従い、車両の
運動特性を考慮してすぐ近くまでの滑らかな経路を生
成(経路生成)。各経路のコストを計算し、経路を選
択
生成された経路を追従するための速度、角速度を車
両に伝達
G空間情報セミナー
19. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
目次
1 自動運転システム概要
2 自動運転システムを構成する技術
2-1 自己位置推定と地図生成
19
2-2 物体認識と深層学習、GPGPU
2-3 経路計画/軌道生成、経路追従と車両制御
3 まとめ
G空間情報セミナー
20. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
地図生成
車両にGPS とレーザスキャナ,カメラを搭載し,移動しながら三次元環境を復元するモービルマッピング
システムにより地図を生成
20
モバイルマッピングシステム[1]
[1]石川ら、モービルマッピングシステムによる都市空間モデリング、計測自動制御学会産業論文集、2009
高精度3次元地図
ポイントクラウド地図
? 3次元座標(緯度経度標高)
? RGB値
ADAS地図
? ポイントクラウド地図から地物を抽出
? 信号、路面標示等
G空間情報セミナー
21. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
3次元LIDAR
パルス状に発行するレーザー照射に対応する散乱光を測定することにより距離や、反射強度を測定する
装置
21
可動部の有無 メカレス型 メカニカルスキャン型
走査方式 光フェーズドアレイレーダー MEMSミラーによるスキャン モーター駆動ミラーによるスキャン
ビームフォーミング MEMSミラー 水平回転ポリゴンミラーの各面でピッチ角を変更 複数素子による多層化 電磁駆動共振ミラー
主な企業 Quanergy Systems 日本信号、パイオニア等 豊田中央研究所等 Velodyne、Valeo、コ
ニカミノルタ
北陽電気
価格 数万円 数万~数十万円 数十万円 数十万-数百万円 数十万円
レーザーを対象物に照射し、散乱光を測定することにより、対象物までの距離や反
射強度を取得。下図はVelodyne HDL-64e(測定距離100-120m, 垂直視
野26.8°、測定ポイント数1333000ポイント/秒
HDL-64e Uer's manual, Nikkei Robotics, 2016,
GPU Technology Conference, Solid State LiDAR for Ubiquitous 3D Sensing
Quanergy Systems社が採用するフェーズドアレー方式では従来の機構的な可
動部が不要になるため、低コスト化と小型化が期待される。写真はQuanergy
Systems社のS3。
受光部 送信部
LSI
60mm
G空間情報セミナー
23. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自己位置推定 スキャンマッチング(1/2)
モバイルマッピングシステムで作成したポイントクラウド地図と自社がLIDARで計測したスキャン結果
を合わせ込むことで位置合わせを行う
23
ポイントクラウド地図 ポイントクラウド地図
スキャン結果
スキャンマッチングして
推定された位置
T : 車両の同次変換作用素(回転R+並進Tr) ??
= argmin
?
?=1
?
||? ? ? ? ? ? ?||
G空間情報セミナー
24. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自己位置推定 スキャンマッチング(2/2)
スキャンマッチングには点対点で評価するICPと、点対分布で評価するNDPが一般的に用いられる
24
Iterative Closest Points(ICP)[1] Normal Distributions Transform(NDP)[2]
? 最近傍点間の距離の2乗和を最小化
? 計算量はO(MN)
? 地図空間を正規分布で近似、入力スキャン
の対応要素をニュートン法で探索
? 計算量はO(N)
[1]P.J. Besl and N.D. McKay. A method for registration of 3d shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992.
[2]P. Biber and W. Straber: The normal distributions transform:a new approach to laser scanmatching,
Proc. of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2003
? ? =
?=1
?
?=1
?
??? ||?? ? ? ? ?? ||
??? = 1 (?と?が対応点)
=0 (?と?が対応点でない)
ポイントクラウド地図{??}
? ? =
? ?=1
?
?(? ? ??)
j=1 j=2
?(?) =
1
Σ
exp(?
(???) ?Σ?1(???)
2
)
n はボクセルの数含まれるdiの数
G空間情報セミナー
35. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
深層学習適用事例(2/3)
ロボットの分野では、深層学習により、ロボットが自動的に学習していけるようになりつつある
35
Deep Q Network
? ニューラルネットでQ関数を近似するアプローチQ-Networkgaが提案されていたが、多層なネットワークで上手く学習/収束が行えな
い、計算が遅い、実現しうる操作のシークエンスはほぼ無限通りあり、その中でバラバラなサンプリング試行を繰り返すと、学習結果の
パラメータが振動したり発散したりする、などの問題があり、実際に性能が示される実装は行われていなかった。
? DQNでは、学習データセットをミニバッチ更新することでこの学習の不安定性を解消
BRETT
(Berkely Robot for the
elimination of tedious tasks)
PFN
CES2016ぶつからないクルマ
V. Mnih, "Playing Atari with Deep Reinforcement Learning", https://youtu.be/JeVppkoloXs、PFN画像はCES2016にて加藤が撮影 G空間情報セミナー
36. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
深層学習適用事例(3/3)
画像解析の分野では、画像からその概念を機械が理解できるようになりつつある
36
図の内容を正しくキャ
プション生成
図と全く関係のない
キャプションを生成
G空間情報セミナー
37. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
人工知能関連企業のグローバルの動き
北米ではグーグル、マイクロソフト、ヤフー、百度等のIT企業が人工知能系人材獲得に注力している
37
上段画像はNIPS2015にて加藤が撮影、解像度を下げて掲載
下段画像はhttps://twitter.com/hashtag/nips2015 G空間情報セミナー
38. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
プレイヤー相関図
基礎研究に従事するトロント大学モントリオール大学は多くの企業と連携、自動車分野でもAmazon
やCVGLとの連携あり
38
MIT
CSAIL
CBBM
機関内のAI関連組織
(部署、学科、ラボ等)
NYU
? NYU Center for Data
Science
? Center for neural
science
? ECE Department
過去に所属等兼務出資 提携?共同研究人名
University of Toront
IBM
大学?公的研究機関 大手企業 新興企業
Stanford
SAIL
Andrew
Ng
VICARIOUS
Baidu
DNN
research
Geoffrey
Hinton
DeepMind
Technology
Demis
Hassavis
FAIR
Yann
LeCun
University
Of
Montreal
MILA
Yoshua
Bengio
Atomwise
医薬品
Amazon
CVGL
NASA
BOSCH
Carnegie Mellon University
DARPA
提携?
自動車企業
NVIDIA
UC Barkley
人工知能プラットフォーム開発
Yahoo
G空間情報セミナー
39. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
最新技術動向(1/3)
物体検出から、画像キャプション生成/QA、画像概念へ
39
画像キャプション生成 画像概念へ画像QA
O. Vinyals et al., Show and Tell: A Neural Image Caption Generator, arXiv:1411.4555
K. Xu et al., Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, arXiv:1502.03044
J. Andreas et al., Deep Compositional Question Answering with Neural Module Networks, arXiv:1511.02799
S. Antol et al., VQA: Visual Question Answering, arXiv:1505.00468
https://github.com/Newmu/dcgan_code
F. Sadeghi et al., VISALOGY: Answering Visual Analogy Questions, arXiv:1509.08075 G空間情報セミナー
40. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
最新技術動向(2/3)
知識記憶機構の構築
40
Memory Networks
(MemNN/MemN2N)
Neural GPU へNeural Turing Machine (NTM)
学習によりアルゴリズムを獲得文章を記憶、質問に回答 並列化
加算
乗算
1010+0111
0110*0101
S. Sukhbaatar et al., End-To-End Memory Networks, arXiv:1503.08895
A. Graves et al., Neural Turing Machines, arXiv:1410.5401
?ukasz Kaiser and Ilya Sutskever, Neural GPUs Learn Algorithms, arXiv:1511.08228 G空間情報セミナー
41. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
最新技術動向(3/3)
特徴的なタスクへの適用
41
画像自動生成
(入力画像をNNが鳥と認識するように誘導)
視線検知
画像自動生成
(コンテントとスタイルの相関最大化)
視覚バイアス
L.A. Gatys et al., A Neural Algorithm of Artistic Style, A Neural Algorithm of Artistic Style, arXiv:1508.06576
http://googleresearch.blogspot.jp/2015/06/inceptionism-going-deeper-into-neural.html
J. Wu et al., Galileo: Perceiving Physical Object Properties by Integrating a Physics Engine with Deep Learning, NIPS2015
C. Vondrick et al., Learning visual biases from human imagination, NIPS2015
A. Recasens et al., Where are they looking?, NIPS2015, https://arxiv.org/abs/1609.03499
モノの物理的特徴の推論
音声合成
G空間情報セミナー
43. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
目次
1 自動運転システム概要
2 自動運転システムを構成する技術
2-1 自己位置推定と地図生成
43
2-2 物体認識と深層学習、GPGPU
2-3 経路計画/軌道生成、経路追従と車両制御
3 まとめ
G空間情報セミナー
44. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自動運転システムでの自動走行までの流れ
駐車計画等も含めた起点終点情報から大まかな経路計画を立て、それに沿って軌道を生成、障害物
回避等を折り込みながら最終的な次の時間ステップの目標速度、目標加速度を車両に伝達
44
Hybrid-state A* Search [1] 他
Pure Pursuit Path Tracking Algorithm[2]
PIDコントロール
他
[1] D. Dolgov, Practical Search Techniques in Path Planning for Autonomous Driving
[2] R. Craig Conlter, Implementation of the Pure Pursuit Path Tracking Algorithm, CMU-RI-TR-92-0
経路計画
速度、角速度を車両へ伝達
軌道生成
経路追従
State Lattice Planner 他
G空間情報セミナー
45. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
軌道生成
現在姿勢と目標姿勢を繋ぐ曲線を生成、各曲線の評価関数を設定、安全な軌道を選択
45M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008
横方向のオフセット
を設けた目標姿勢
軌道の曲率を考慮し、
車両が走行可能な
軌道を生成
生成した各軌道について評価関数を算出、
安全な軌道を選択
G空間情報セミナー
46. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
ピュアパス追跡アルゴリズム
ピュアパス追跡アルゴリズムにより、目標経路を実現する、目標速度と目標角速度が求まる
46R. Craig Conlter, Implementation of the Pure Pursuit Path Tracking Algorithm, CMU-RI-TR-92-0
x
y
(x ,y)
r
l
dx
y
?2
+ ?2
= ?2
? + ? = ?
?2
+ ?2
= ?2
? =
2?
?2
?
x
y
l
look ahead distance
G空間情報セミナー
47. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
車両制御
Loodahead Distanceを適切に設定することにより、乗り心地のいい滑らかな運転を実現。
最終的に求まる目標速度と目標角速度を車両の送信
47[1]R. Craig Conlter, Implementation of the Pure Pursuit Path 'hcking Algorithm, CMU-RI-TR-92-0
lookhaed distanceの値によって車両の曲がり易さが変わる[1]
? ? = ?? ?
? =
2?
?2
? ?
? ?
l が小さい
l が大きい
G空間情報セミナー
48. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
目次
1 自動運転システム概要
2 自動運転システムを構成する技術
2-1 自己位置推定と地図生成
48
2-2 物体認識と深層学習、GPGPU
2-3 経路計画/軌道生成、経路追従と車両制御
3 まとめ
G空間情報セミナー
49. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
まとめ
?DARPA Grand Challenge/DARPA Urban Challengeを通じて、ロボティックス技術が自動運転
システムへ。自動車会社より2013年頃から乗用車の自動運転システムの発表相次ぐ
?自動運転システムの基本的な構成は
?センサー:LIDAR、ミリ波レダー、GNSS、DMI、IMU、カメラ
?制御システム:認知モジュール、判断モジュール、操作モジュール
?大量データ処理、運転時例外処理の学習、高精度地図等情報処理技術の担う役割が一層増しつつ
ある
?特に大量の自動運転システム搭載車が走り回る際のサイバー空間としての地図整備への期待が高い
49G空間情報セミナー
50. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 50
End of File
G空間情報セミナー