狠狠撸

狠狠撸Share a Scribd company logo
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自動運転システムと自己位置推定/地図生成
トヨタIT開発センター 加藤 整
2016年11月22日 @札幌コンベンションセンター
1G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
本日のゴール
2
Stanford Junior、Google Car、Autoware?など自律型自動運転システムに関する
公開情報を基に自律型自動運転システムを構成する要素技術の概要を具体的に理解する
?http://www.pdsl.jp/fot/autoware/
本発表は私個人の見解であり、所属する組織やグループ企業の立場、戦略、意見を代表するものではありません
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
目次
1 自動運転システム概要
2 自動運転システムを構成する技術
2-1 自己位置推定と地図生成
3
2-2 物体認識と深層学習、GPGPU
2-3 経路計画/軌道生成、経路追従と車両制御
3 まとめ
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
目次
1 自動運転システム概要
2 自動運転システムを構成する技術
2-1 自己位置推定と地図生成
4
2-2 物体認識と深層学習、GPGPU
2-3 経路計画/軌道生成、経路追従と車両制御
3 まとめ
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
問題:これらのイノベーションの共通点は?
5
https://en.wikipedia.org/wiki/Internet,https://en.wikipedia.org/wiki/Global_Positioning_System,
https://en.wikipedia.org/wiki/Autonomous_car, https://ja.wikipedia.org/wiki/IPhone_4S
GPS
インターネット Siri
自動運転車
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 6http://www.darpa.mil/ G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
DARPA概要
DARPAはスプートニクショックを受けて58年に設立以来、多くのイノベーションへ貢献してきている
7
ソ連、スプートニク1号
打ち上げ成功
1957年
高等研究計画局
設立
1958年
ARPANET
1969年
1978年
GPS
DARPA Grand Challenge
2004,2005年
2007年
DARPA Urban Challenge
https://en.wikipedia.org/wiki/Sputnik_1, https://en.wikipedia.org/wiki/DARPA, https://en.wikipedia.org/wiki/ARPANET
https://en.wikipedia.org/wiki/Global_Positioning_System, http://archive.darpa.mil/grandchallenge04/
http://archive.darpa.mil/grandchallenge/index.html, https://en.wikipedia.org/wiki/DARPA_Robotics_Challenge
https://cgc.darpa.mil/
Robotics Challenge
2012-15年
2014-2015年
Cyber Grand Challenge
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 8https://www.ted.com/talks/sebastian_thrun_google_s_driverless_car?language=en G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 9
1. 基礎
1. 緒言
2. 再帰的状態推定
3. ガウシアンフィルタ
4. ノンパラメトリックフィルタ
5. ロボットの動作
6. ロボットの知覚
2. ローカライゼーション
1. ロボットの位置推定
2. 移動ロボットのいち推定
3. 地図生成
1. 占有格子地図の生成
2. 姿勢と地図の同時推定
3. GraphSLAMアルゴリズム
4. 疎拡張情報フィルタ
5. FastSLAMアルゴリズム
4. 計画と制御
1. マルコフ決定過程
2. 部分観測マルコフ決定過程
3. POMDPの近似手法
4. 探査
https://images-na.ssl-images-amazon.com/images/I/51oedehWUdL._SX440_BO1,204,203,200_.jpg
目次は、上田訳、確率ロボティックス,2007 G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 10
DGC 2005,
スタンフォード大学 Stanley優勝
DGC 2007
スタンフォード大学 Junior準優勝
https://en.wikipedia.org/wiki/Stanley_(vehicle), http://archive.darpa.mil/grandchallenge/gallery.html
https://www.youtube.com/watch?v=bDOnn0-4Nq8, https://www.udacity.com/
S. Thrun et al., Stanley, the robot that won the DARPA Grand Challenge, Journal of Field Robotics, 2006
M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008
2011,オンライン教育機関Udacity設立
2009
Google Self-Driving Cars
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
DARPA Urban Challenge 2007
DARPAはオフロードにおける軍事作戦を想定した2004年2005年のGrand Challengeに続き、
市街戦を想定したUrban Challengeを2007年に実施
11
Why develop autonomous vehicles?
The National Defense Authorization Act for Fiscal Year 2001, Public Law 106-398,
Congress mandated in Section 220 that “It shall be a goal of the Armed Forces to
achieve the fielding of unmanned, remotely controlled technology such that… by 2015,
one-third of the operational ground combat vehicles are unmanned.” DARPA conducts
the Urban Challenge program in support of this Congressional mandate. Every “dull,
dirty, or dangerous” task that can be carried out using a machine instead of a
human protects our warfighters and allows valuable human resources to be
used more effectively.
http://archive.darpa.mil/grandchallenge/docs/Urban_Challenge_Team_Welcome_Meeting.pdf G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
DARPA Urban Challenge 2007コースレイアウト
エリアA(交差点左折、交通への流入)、エリアB(ナビ、駐車)、エリアC(交差点通過、Uターン)の
3つのエリアからなる
12http://archive.darpa.mil/grandchallenge/docs/Urban_Challenge_Team_Welcome_Meeting.pdf G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
DARPA Urban Challenge 2007レギュレーション
市街戦を想定しながらも、カルフォルニア州の交通規則に従わないとマイナス点をつけられるなど
市街地走行に必要な安全性も要求
13
http://archive.darpa.mil/grandchallenge/docs/Urban_Challenge_Team_Welcome_Meeting.pdf,
保坂ら、自動運転 システム構成と要素技術,2015
? 直前に与えられたミッションに従った走行計画生成
? カルフォルニア州の交通規則に従った走行
? 複数の自動車とプロドライバが運転する30台の手動運転者が混在して走行する環境で安全に走行
? 州者スペースから他車両が走行する道路への合流
? ラウンドアバウトの通過
? 4方向一時停止交差点における到着順に応じた発信による交差点通過
? 交差点における信号?標識に応じtあ停止、発進
? 対向車料など他車両とのタイミングを調整した右左折
? 停止車両や障害物を避けての通過
? 対向2車線道路におけるUターン
? 制限速度を認識して速度調整
? 軽目られた駐車場で駐車スペースを探索して駐車
以下の課題をクリアしながら約60マイル(97km)を6時間以内に走行。
各テスト車の後ろを追跡者が走行、危険な状態になった場合にはリモコ
ンで緊急停止。約100箇所のチェックポイントで、交通規則を守っている
かを確認し、採点
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
DARPA Urban Challenge 2007の結果
89台のチームが応募、準決勝を通過した11チーム中、6チームがチェッカーフラグを受ける。
優勝はTatan Racing、$2Mを獲得
14http://archive.darpa.mil/grandchallenge/gallery.html
1位: CMU
4:10:20
2位: Stanford
4:29:28
3位: Virginia Tech.
4:36:38
5位: U. Penn.
> 6hours
6位: Cornell
> 6 hours
4位: MIT
Approx 6 hours
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 15
Applanix INSVelodyne laserRiegl laser SICK LMS laser
SICK LDLRS laserDMIIBEO laserBOSCH Radar
LiDAR
GNSS/慣性走行装置
ミリ波レーダー
走行距離計
6軸慣性センサは搭載せず
M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008 G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
Juniorにおけるソフトウェアフローダイアグラム
センサー、位置推定モジュール、物体検出モジュール、UKF姿勢推定モジュール、軌道生成器等からなる
16M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008 G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
DARPA Urban Challenge 2007の意義
Googleによる自律型自動運転システムへの研究開発に引続き、2013年以降自動車会社や
部品会社から自動運転システムの発表が相次ぐ
17
路車協調方式
http://www.path.berkeley.edu/publications/general-publications, https://www.youtube.com/watch?v=7Yd9Ij0INX0
自律走行型
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自律走行型自動運転システムを構築する要素技術
自律走行型自動運転システムを構築する要素のうち、太文字について続く頁にて説明する
18
経路計画
軌道生成
SLAM
自己位置推定
物体検出
経路追従
車両制御
地図生成
必要な技術処理内容
高精度3次元地図の生成
認知
判断
操作
フェーズ
LIDAR, GNSS, カメラを搭載した車両を走らせ、点
群データを収集。点群データから高精度3次元地図を
作成
スキャンデータと、前述の3次元地図データが重なるよう
スキャンマッチング、地図内の位置、向きを算出(自己
位置推定)。他の車両や信号等物体検出
スタートからゴールまでの大まかな経路に従い、車両の
運動特性を考慮してすぐ近くまでの滑らかな経路を生
成(経路生成)。各経路のコストを計算し、経路を選
択
生成された経路を追従するための速度、角速度を車
両に伝達
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
目次
1 自動運転システム概要
2 自動運転システムを構成する技術
2-1 自己位置推定と地図生成
19
2-2 物体認識と深層学習、GPGPU
2-3 経路計画/軌道生成、経路追従と車両制御
3 まとめ
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
地図生成
車両にGPS とレーザスキャナ,カメラを搭載し,移動しながら三次元環境を復元するモービルマッピング
システムにより地図を生成
20
モバイルマッピングシステム[1]
[1]石川ら、モービルマッピングシステムによる都市空間モデリング、計測自動制御学会産業論文集、2009
高精度3次元地図
ポイントクラウド地図
? 3次元座標(緯度経度標高)
? RGB値
ADAS地図
? ポイントクラウド地図から地物を抽出
? 信号、路面標示等
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
3次元LIDAR
パルス状に発行するレーザー照射に対応する散乱光を測定することにより距離や、反射強度を測定する
装置
21
可動部の有無 メカレス型 メカニカルスキャン型
走査方式 光フェーズドアレイレーダー MEMSミラーによるスキャン モーター駆動ミラーによるスキャン
ビームフォーミング MEMSミラー 水平回転ポリゴンミラーの各面でピッチ角を変更 複数素子による多層化 電磁駆動共振ミラー
主な企業 Quanergy Systems 日本信号、パイオニア等 豊田中央研究所等 Velodyne、Valeo、コ
ニカミノルタ
北陽電気
価格 数万円 数万~数十万円 数十万円 数十万-数百万円 数十万円
レーザーを対象物に照射し、散乱光を測定することにより、対象物までの距離や反
射強度を取得。下図はVelodyne HDL-64e(測定距離100-120m, 垂直視
野26.8°、測定ポイント数1333000ポイント/秒
HDL-64e Uer's manual, Nikkei Robotics, 2016,
GPU Technology Conference, Solid State LiDAR for Ubiquitous 3D Sensing
Quanergy Systems社が採用するフェーズドアレー方式では従来の機構的な可
動部が不要になるため、低コスト化と小型化が期待される。写真はQuanergy
Systems社のS3。
受光部 送信部
LSI
60mm
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自己位置推定
自己位置推定とSLAM手法は大きく3つに分類される
22
自己位置推定
位置追従
大域的位置推定
(誘拐ロボット問題)
内界
センサデータ
外界
センサデータ
地図
自己位置
地図生成
既知の姿勢に
基づく地図生成
地図
外界
センサデータ
自己位置
姿勢と地図の
同時推定
(SLAM)
内界
センサデータ
外界
センサデータ
自己位置
地図
+
=
スキャンマッチング ベイズフィルタ グラフベースSLAM
性質 オンライン オンライン オフライン
概要 環境計測の点群
を最小化計算で
位置合わせ
制御動作に依る
事前確率と環境
計測による尤度を
確率的に融合
各時刻のロボット
位置や地図のラン
ドマーク位置の関
係をグラフを制約
条件として最適化
推定の出力 現在のロボット位
置を点推定
現在のロボット位
置と地図を確率
分布として推定
移動軌跡や地図
のランドマーク位置
を点推定
手法の例 ICP, NDT等 EKF, PF等 完全SLAM等
m2
x0
x1
x2
x3
m1
移動
観測
情報行列Ω に移動や観測のデータを
どんどん追加 Ωからロボットの軌跡を最
適化で求める
Ω:情報行列 = Σ-1
グラフベースSLAM
次頁以降で説明
原、自己位置推定?地図生成(SLAM)の全体像, Nikkei Robotics、2016 G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自己位置推定 スキャンマッチング(1/2)
モバイルマッピングシステムで作成したポイントクラウド地図と自社がLIDARで計測したスキャン結果
を合わせ込むことで位置合わせを行う
23
ポイントクラウド地図 ポイントクラウド地図
スキャン結果
スキャンマッチングして
推定された位置
T : 車両の同次変換作用素(回転R+並進Tr) ??
= argmin
?
?=1
?
||? ? ? ? ? ? ?||
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自己位置推定 スキャンマッチング(2/2)
スキャンマッチングには点対点で評価するICPと、点対分布で評価するNDPが一般的に用いられる
24
Iterative Closest Points(ICP)[1] Normal Distributions Transform(NDP)[2]
? 最近傍点間の距離の2乗和を最小化
? 計算量はO(MN)
? 地図空間を正規分布で近似、入力スキャン
の対応要素をニュートン法で探索
? 計算量はO(N)
[1]P.J. Besl and N.D. McKay. A method for registration of 3d shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992.
[2]P. Biber and W. Straber: The normal distributions transform:a new approach to laser scanmatching,
Proc. of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2003
? ? =
?=1
?
?=1
?
??? ||?? ? ? ? ?? ||
??? = 1 (?と?が対応点)
=0 (?と?が対応点でない)
ポイントクラウド地図{??}
? ? =
? ?=1
?
?(? ? ??)
j=1 j=2
?(?) =
1
Σ
exp(?
(???) ?Σ?1(???)
2
)
n はボクセルの数含まれるdiの数
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自己位置推定 ベイズフィルタ
制御動作による予測位置を計測結果の情報を使って更新する
25
? ? ? =
1
?(?)
× ? ? ? ? ? = ? ? ? ? ?(?)
ベイズの定理
f (x)がデータY=y を観測する前のX の確率分布とすると
f (x|y)は、データY の観測値y を得た後のデータXの確率
分布と解釈される
データの観測を通じて事前のより不確かな信念が事後の
より確かな信念に変化
上田訳、確率ロボティックス, https://en.wikipedia.org/wiki/Thomas_Bayes
? ? ?|?1:?, ?1:? = ? ? ?? ? ?, ?1:? ?(? ? |?1:??1, , ?1:?)
= ? ? ?? ? ?, ?1:? ?(? ? |? ??1, , ? ?)? ? ??1 ?1:??1 , ?1:??1 ?? ??1
信念分布を正規分布で表現→KF, EKF,
ノンパラベイズ → PF
ポイントクラウド地図:m
ロボット位置:? ??1
制御動作:? ?
推定位置:?(? ?)? ??1
真の位置:? ?
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
目次
1 自動運転システム概要
2 自動運転システムを構成する技術
2-1 自己位置推定と地図生成
26
2-2 物体認識と深層学習、GPGPU
2-3 経路計画/軌道生成、経路追従と車両制御
3 まとめ
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
人工知能とは
人工知能とは、人工的にコンピュータ上などで人間と同様の知能を実現させよう
という試み。最近注目を浴びているディープラーニングは機械学習の要素技術の1つ
27
人工知能
人工的にコンピュータ上などで人間と同様の知能を実現させようという試み
機械学習
人間が行っている学習の能力と同様の機能を計算機で実現しようとする試み
ニューラルネット
脳機能に見られる特性を計算機上で表現した数学モデル
ディープラーニング(深層学習)
多層構造のニューラルネットワーク
Wikipedia記事を元にIT開発センター作成 G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
機械学習とは
機械学習とは人間が行っている学習の能力と同様の機能を計算機で実現しようとする試み
28
入力 出力
制限速70km/h
歩行者有り
左折以外外進行禁止
直進以外外進行禁止
訓
練
時
...
運
用
時
制限速60km/h
入力 出力
学習データセット
標識画像はGerman Traffic Sign Detection Benchmark (GTSDB)より
計算機
計算機
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
機械学習の技術動向
機械学習業界では、深層学習研究の割合が増えつつ有る
29各年のNIPS採択論文タイトルより用語を含む件数を数え上げ、その年の採択論文数で除算して比率をITC算出, https://papers.nips.cc/
0%
10%
20%
30%
40%
50%
1987 1995 2000 2005 2010 2015
Neural SVM, kernel Deep Convex Submod
ニューラルネット全盛の時代
機械学習全盛の時代
深層学習が盛り上がる
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
ニューラルネットワークの基本計算
1層目のi 番目の入力 u1i に重み ?1?? をかけて足し合わせた後に、活性化関数f をかけて出力する
30
......
入
力
デ
ー
タ
出
力
デ
ー
タ
l=1 l=2 l=Ll=3
u1
(1)
??
(2)
=
?=1
?
???
(2)
??
(1)
+ ??
??
(2)
= ?(??
(2)
)
?(?) = max(?, 0)
?(?+1)
= ?(?+1)
?(?)
+ ?(?+1)
?(?+1)
= ?(?(?+1)
)
回帰の場合
訓練データセット
?1, ?1 , ?2, ?2 , … , ? ?, ? ?
? ? =
1
2
?=1
?
| ? ? ? ? ?; ? | ?
誤差関数
最適なパラーメタ
??
= argmin
?
?(?)
誤差関数が小さくなるように重みw を調整
→誤差逆伝播法
式(1)
uI
(1)
uJ
(2)
u1
(2)
表記は、岡谷、深層学習、2015による G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
誤差逆伝播法
誤差を最小化するための各層の重みはのずらし方は、出力層から入力層に向かって逆方向に算出するこ
とができる
31
第l-1層のユニットiと第l層のユニットjを繋ぐ結合の重みwji
(l)に関する微分は、
微分の連鎖規則より
となる。ここで右辺第2項は、前頁の式(1)より、簡単に
???
(?)
????
(?)
= ??
(??1)
と求まる。但し此処で、式(1)の定数項については、重みがbj
(l)のユニットが
追加されていると見做している。
右辺第1項について、uj
(l) の変動がE に与える影響は、第l+1層の各ユニッ
トkの入力uk
(l+1) を変化こと以外では発生しないことが判る。即ち、
??
?? ?
(?) = ?
??
?? ?
(?+1)
?? ?
(?+1)
?? ?
(?) . 式(3)
??
????
(?)
=
??
???
(?)
???
(?)
????
(?) 式(2)
と表すと、式(2)は最終的に、
??
????
(?)
= ??
(?)
??
(??1)
??
(?)
= ? ? ?
(?+1)
wkj
(l+1) f ′ (uj
(l) )
式(3)の右辺第2項は、簡単にwkj
(l+1) f ' (uj
(l) ) となるから、
??
(?)
?
??
???
(?)
l-1 l l+1
u1
(1)
uI
(1)
??
(?)
?1
(?+1)
? ?
(?+1)
? ?+1
(?+1)
?
j
i
k
??
(??1)
?
図:誤差逆伝播の様子。??
(?)
は層l+1の??
(?+1)
が与えられれば計算可能
表記は、岡谷、深層学習、2015による G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
深層学習の概要
2000年後半以降、多層ニューラルネットの学習が可能になり、また各種ベンチマークで深層学習
の有効性が認知されるようになる
32
「浅い」ニューラルネット 「深い」ニューラルネット
......
「浅い」ニューラルネット 「深い」ニューラルネット (多層ニューラルネット)
入
力
デ
ー
タ
出
力
デ
ー
タ
入
力
デ
ー
タ
出
力
デ
ー
タ
? 2000年前半までは、多層ニューラルネットの学習が困難であった(勾配消失問題)
? 各層毎に事前に学習し初期パラメータを与えることで多層ニューラルネットの学習ができることが確認(事前学習)
? GPUやマルチコアCPUといった計算機能力が飛躍的に向上し、またウェブ上の充分な量のデータセットが集約
? 音声認識や画像認識のベンチマークテストで過去の記録が次々に塗り替えられことで有効性が認知
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
深層学習の概要
深層学習は、音声認識、画像解析、物体認識など幅広い分野で活用されつつある技術領域
33
適用エリア 適用アプリケーション
モバイル 音声対話
音声認識
Web レコメンデーションエンジン
ビデオ検索
自然言語処理
画像解析
自動翻訳
自動車 一般物体認識
高精度地図生成
画像解析
ロボット、ゲーム 強化学習
金融 フィンテック
深層学習の適用エリア
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
深層学習適用事例(1/3)
一般物体認識タスクでは、人間の精度よりも高い認識精度を達成した
34
容易
困難
物体カテゴリ識別
(Categorization)
物体検出
(Detection)
物体領域抽出
(Semantic segmentation)
一般物体認識の主要なタスク LSVRC(1000クラス物体識別タスク)のエラー率の推移
28
26
16
12
6.6 5.98 5.1 4.94 4.82
0
5
10
15
20
25
30
8層のCNNにより2位以下に
10%以上の差をつけてトロント
大学Hintonのチームが大勝
2012年のブレークスルー以降2
年で人間の精度を越す
エラー率(%)
人間の認識精度
中山、"深層畳み込みニューラルネットワークによる画像特徴抽出と転移学習"を基にITC作成 G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
深層学習適用事例(2/3)
ロボットの分野では、深層学習により、ロボットが自動的に学習していけるようになりつつある
35
Deep Q Network
? ニューラルネットでQ関数を近似するアプローチQ-Networkgaが提案されていたが、多層なネットワークで上手く学習/収束が行えな
い、計算が遅い、実現しうる操作のシークエンスはほぼ無限通りあり、その中でバラバラなサンプリング試行を繰り返すと、学習結果の
パラメータが振動したり発散したりする、などの問題があり、実際に性能が示される実装は行われていなかった。
? DQNでは、学習データセットをミニバッチ更新することでこの学習の不安定性を解消
BRETT
(Berkely Robot for the
elimination of tedious tasks)
PFN
CES2016ぶつからないクルマ
V. Mnih, "Playing Atari with Deep Reinforcement Learning", https://youtu.be/JeVppkoloXs、PFN画像はCES2016にて加藤が撮影 G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
深層学習適用事例(3/3)
画像解析の分野では、画像からその概念を機械が理解できるようになりつつある
36
図の内容を正しくキャ
プション生成
図と全く関係のない
キャプションを生成
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
人工知能関連企業のグローバルの動き
北米ではグーグル、マイクロソフト、ヤフー、百度等のIT企業が人工知能系人材獲得に注力している
37
上段画像はNIPS2015にて加藤が撮影、解像度を下げて掲載
下段画像はhttps://twitter.com/hashtag/nips2015 G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
プレイヤー相関図
基礎研究に従事するトロント大学モントリオール大学は多くの企業と連携、自動車分野でもAmazon
やCVGLとの連携あり
38
MIT
CSAIL
CBBM
機関内のAI関連組織
(部署、学科、ラボ等)
NYU
? NYU Center for Data
Science
? Center for neural
science
? ECE Department
過去に所属等兼務出資 提携?共同研究人名
University of Toront
IBM
大学?公的研究機関 大手企業 新興企業
Stanford
SAIL
Andrew
Ng
VICARIOUS
Baidu
DNN
research
Geoffrey
Hinton
DeepMind
Technology
Demis
Hassavis
FAIR
Yann
LeCun
University
Of
Montreal
MILA
Yoshua
Bengio
Atomwise
医薬品
Amazon
CVGL
NASA
BOSCH
Carnegie Mellon University
DARPA
提携?
自動車企業
NVIDIA
UC Barkley
人工知能プラットフォーム開発
Yahoo
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
最新技術動向(1/3)
物体検出から、画像キャプション生成/QA、画像概念へ
39
画像キャプション生成 画像概念へ画像QA
O. Vinyals et al., Show and Tell: A Neural Image Caption Generator, arXiv:1411.4555
K. Xu et al., Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, arXiv:1502.03044
J. Andreas et al., Deep Compositional Question Answering with Neural Module Networks, arXiv:1511.02799
S. Antol et al., VQA: Visual Question Answering, arXiv:1505.00468
https://github.com/Newmu/dcgan_code
F. Sadeghi et al., VISALOGY: Answering Visual Analogy Questions, arXiv:1509.08075 G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
最新技術動向(2/3)
知識記憶機構の構築
40
Memory Networks
(MemNN/MemN2N)
Neural GPU へNeural Turing Machine (NTM)
学習によりアルゴリズムを獲得文章を記憶、質問に回答 並列化
加算
乗算
1010+0111
0110*0101
S. Sukhbaatar et al., End-To-End Memory Networks, arXiv:1503.08895
A. Graves et al., Neural Turing Machines, arXiv:1410.5401
?ukasz Kaiser and Ilya Sutskever, Neural GPUs Learn Algorithms, arXiv:1511.08228 G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
最新技術動向(3/3)
特徴的なタスクへの適用
41
画像自動生成
(入力画像をNNが鳥と認識するように誘導)
視線検知
画像自動生成
(コンテントとスタイルの相関最大化)
視覚バイアス
L.A. Gatys et al., A Neural Algorithm of Artistic Style, A Neural Algorithm of Artistic Style, arXiv:1508.06576
http://googleresearch.blogspot.jp/2015/06/inceptionism-going-deeper-into-neural.html
J. Wu et al., Galileo: Perceiving Physical Object Properties by Integrating a Physics Engine with Deep Learning, NIPS2015
C. Vondrick et al., Learning visual biases from human imagination, NIPS2015
A. Recasens et al., Where are they looking?, NIPS2015, https://arxiv.org/abs/1609.03499
モノの物理的特徴の推論
音声合成
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
GPUの基本的な構造
GPUの数千個のコアを活用し並列処理を行うことで、行列計算など演算密度の高い数値計算、機械学
習等画像処理以外に汎用的に利用(GPGPU)。開発フレームワークの例としてNVIDIA CUDAを説明
42
ホスト デバイス
CPU
メインメモリ L2
NVLink
← PCI-E
ストリーミング
マルチプロセッサ
CUDAコア
(2000-4000個程度)
共有メモリ
レジスタ
CUDAにおける言語拡張GPUの基本的な構造
? 関数修飾子 ホストとデバイスのどちらで実行するかを指定
? __global__, __device__, __host__
? カーネル関数呼び出し
? kernel <<<grid,block>>>();
? grid: ブロックによるグリッドの次元とサイズ
? block: スレッドによるブロックの次元とサイズ
? dim3宣言 3次元ベクトルの整数型の宣言
? ホスト同期
? cudaMemcpy()
? cudaThreadSynchronize()
grid
block
thread
#include <stdio.h>
__global__ void helloFromGPU(){
printf("GPU?n");
}
int main(int argc,char **argv){
printf("CPU?n");
dim3 block(10,1);
dim3 grid(1,1);
helloFromGPU<<<grid,block>>>();
cudaDeviceReset();
}
CUDAによるプログラミング例
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
目次
1 自動運転システム概要
2 自動運転システムを構成する技術
2-1 自己位置推定と地図生成
43
2-2 物体認識と深層学習、GPGPU
2-3 経路計画/軌道生成、経路追従と車両制御
3 まとめ
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
自動運転システムでの自動走行までの流れ
駐車計画等も含めた起点終点情報から大まかな経路計画を立て、それに沿って軌道を生成、障害物
回避等を折り込みながら最終的な次の時間ステップの目標速度、目標加速度を車両に伝達
44
Hybrid-state A* Search [1] 他
Pure Pursuit Path Tracking Algorithm[2]
PIDコントロール
他
[1] D. Dolgov, Practical Search Techniques in Path Planning for Autonomous Driving
[2] R. Craig Conlter, Implementation of the Pure Pursuit Path Tracking Algorithm, CMU-RI-TR-92-0
経路計画
速度、角速度を車両へ伝達
軌道生成
経路追従
State Lattice Planner 他
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
軌道生成
現在姿勢と目標姿勢を繋ぐ曲線を生成、各曲線の評価関数を設定、安全な軌道を選択
45M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008
横方向のオフセット
を設けた目標姿勢
軌道の曲率を考慮し、
車両が走行可能な
軌道を生成
生成した各軌道について評価関数を算出、
安全な軌道を選択
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
ピュアパス追跡アルゴリズム
ピュアパス追跡アルゴリズムにより、目標経路を実現する、目標速度と目標角速度が求まる
46R. Craig Conlter, Implementation of the Pure Pursuit Path Tracking Algorithm, CMU-RI-TR-92-0
x
y
(x ,y)
r
l
dx
y
?2
+ ?2
= ?2
? + ? = ?
?2
+ ?2
= ?2
? =
2?
?2
?
x
y
l
look ahead distance
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
車両制御
Loodahead Distanceを適切に設定することにより、乗り心地のいい滑らかな運転を実現。
最終的に求まる目標速度と目標角速度を車両の送信
47[1]R. Craig Conlter, Implementation of the Pure Pursuit Path 'hcking Algorithm, CMU-RI-TR-92-0
lookhaed distanceの値によって車両の曲がり易さが変わる[1]
? ? = ?? ?
? =
2?
?2
? ?
? ?
l が小さい
l が大きい
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
目次
1 自動運転システム概要
2 自動運転システムを構成する技術
2-1 自己位置推定と地図生成
48
2-2 物体認識と深層学習、GPGPU
2-3 経路計画/軌道生成、経路追従と車両制御
3 まとめ
G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd.
まとめ
?DARPA Grand Challenge/DARPA Urban Challengeを通じて、ロボティックス技術が自動運転
システムへ。自動車会社より2013年頃から乗用車の自動運転システムの発表相次ぐ
?自動運転システムの基本的な構成は
?センサー:LIDAR、ミリ波レダー、GNSS、DMI、IMU、カメラ
?制御システム:認知モジュール、判断モジュール、操作モジュール
?大量データ処理、運転時例外処理の学習、高精度地図等情報処理技術の担う役割が一層増しつつ
ある
?特に大量の自動運転システム搭載車が走り回る際のサイバー空間としての地図整備への期待が高い
49G空間情報セミナー
?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 50
End of File
G空間情報セミナー
Ad

Recommended

ポストAiを見据えた日本企業の経営戦略 加藤整 20171020_v1.2
ポストAiを見据えた日本企業の経営戦略 加藤整 20171020_v1.2
Sei Kato (加藤 整)
?
Data-Centric AIの紹介
Data-Centric AIの紹介
Kazuyuki Miyazawa
?
Tokyo H2O.ai Meetup#2 by Iida
Tokyo H2O.ai Meetup#2 by Iida
Hidenori Fujioka
?
ドラレコ + CV = 地図@Mobility Technologies
ドラレコ + CV = 地図@Mobility Technologies
Kazuyuki Miyazawa
?
颁痴分野での最近の脱○○系3选
颁痴分野での最近の脱○○系3选
Kazuyuki Miyazawa
?
コンピュータビジョン技术の実応用とビジネス
コンピュータビジョン技术の実応用とビジネス
Yusuke Uchida
?
テ?ィーフ?ラーニンク?にみられる础颈技术の进歩とそれか?もたらす未来谤1
テ?ィーフ?ラーニンク?にみられる础颈技术の进歩とそれか?もたらす未来谤1
Osaka University
?
タクシー运行最适化を実现する机械学习システムの社会実装
タクシー运行最适化を実现する机械学习システムの社会実装
RyuichiKanoh
?
MLP-Mixer: An all-MLP Architecture for Vision
MLP-Mixer: An all-MLP Architecture for Vision
Kazuyuki Miyazawa
?
公共交通データHUBシステム 取組と事例紹介
公共交通データHUBシステム 取組と事例紹介
Masaki Ito
?
イノベーション创発に资する人工知能基盘技术の创出と统合化
イノベーション创発に资する人工知能基盘技术の创出と统合化
Osaka University
?
クラウト?の进化とメテ?ィア理解の発展
クラウト?の进化とメテ?ィア理解の発展
Osaka University
?
ソフトウェアジャパン2018 ITフォーラムセッション(3)
ソフトウェアジャパン2018 ITフォーラムセッション(3)
aitc_jp
?
自作プログラミング言语の集い
自作プログラミング言语の集い
Natsutani Minoru
?
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
Natsutani Minoru
?
Ai from-digital-transformation:ホ?エムなAI はもう終わりにしよう:クラウト?による市民革命とAIによる産業革命
Ai from-digital-transformation:ホ?エムなAI はもう終わりにしよう:クラウト?による市民革命とAIによる産業革命
Osaka University
?
5th長崎QDGスペシャルセッション「「未来社会実現のためのデジタル?トランスフォーメーション(DX)  ~長崎県におけるAIやIoT等の先端技術の活用と...
5th長崎QDGスペシャルセッション「「未来社会実現のためのデジタル?トランスフォーメーション(DX)  ~長崎県におけるAIやIoT等の先端技術の活用と...
NaITE_Official
?
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
Natsutani Minoru
?
11 shibuya
11 shibuya
i-construction
?
デジタルテクノロジーの進化がもたらすクルマの付加価値向上 20151218
デジタルテクノロジーの進化がもたらすクルマの付加価値向上 20151218
Sei Kato (加藤 整)
?
07 hori
07 hori
i-construction
?
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Takuya Azumi
?
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン? オープンソースの自動運転ソフトAutowareを解説 ?
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン? オープンソースの自動運転ソフトAutowareを解説 ?
SSII
?
惭补补厂を捉えなおそう?熊本の交通を见直そう
惭补补厂を捉えなおそう?熊本の交通を见直そう
Masaki Ito
?
「グーグルの自動運転Carの技術要素」勉強会 2014.08.29
「グーグルの自動運転Carの技術要素」勉強会 2014.08.29
Minoru Chikamune
?
搁颁カーを用いた自动运転车両シミュレーション环境に関する研究
搁颁カーを用いた自动运転车両シミュレーション环境に関する研究
harmonylab
?
车両运行管理システムのためのテ?ータ整备と机械学习の活用
车両运行管理システムのためのテ?ータ整备と机械学习の活用
Eiji Sekiya
?
ROS を用いた自律移動ロボットのシステム構築
ROS を用いた自律移動ロボットのシステム構築
Yoshitaka HARA
?
CCSE2019 TIS - 自律移動サーヒ?スロホ?ットの地図とテ?ータモテ?ルの共通化への取り組み
CCSE2019 TIS - 自律移動サーヒ?スロホ?ットの地図とテ?ータモテ?ルの共通化への取り組み
Nobuyuki Matsui
?
一般道実走行における 自車センサ情報を用いた車線変更の検出
一般道実走行における 自車センサ情報を用いた車線変更の検出
Ryo Neyama
?

More Related Content

What's hot (13)

MLP-Mixer: An all-MLP Architecture for Vision
MLP-Mixer: An all-MLP Architecture for Vision
Kazuyuki Miyazawa
?
公共交通データHUBシステム 取組と事例紹介
公共交通データHUBシステム 取組と事例紹介
Masaki Ito
?
イノベーション创発に资する人工知能基盘技术の创出と统合化
イノベーション创発に资する人工知能基盘技术の创出と统合化
Osaka University
?
クラウト?の进化とメテ?ィア理解の発展
クラウト?の进化とメテ?ィア理解の発展
Osaka University
?
ソフトウェアジャパン2018 ITフォーラムセッション(3)
ソフトウェアジャパン2018 ITフォーラムセッション(3)
aitc_jp
?
自作プログラミング言语の集い
自作プログラミング言语の集い
Natsutani Minoru
?
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
Natsutani Minoru
?
Ai from-digital-transformation:ホ?エムなAI はもう終わりにしよう:クラウト?による市民革命とAIによる産業革命
Ai from-digital-transformation:ホ?エムなAI はもう終わりにしよう:クラウト?による市民革命とAIによる産業革命
Osaka University
?
5th長崎QDGスペシャルセッション「「未来社会実現のためのデジタル?トランスフォーメーション(DX)  ~長崎県におけるAIやIoT等の先端技術の活用と...
5th長崎QDGスペシャルセッション「「未来社会実現のためのデジタル?トランスフォーメーション(DX)  ~長崎県におけるAIやIoT等の先端技術の活用と...
NaITE_Official
?
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
Natsutani Minoru
?
11 shibuya
11 shibuya
i-construction
?
デジタルテクノロジーの進化がもたらすクルマの付加価値向上 20151218
デジタルテクノロジーの進化がもたらすクルマの付加価値向上 20151218
Sei Kato (加藤 整)
?
07 hori
07 hori
i-construction
?
MLP-Mixer: An all-MLP Architecture for Vision
MLP-Mixer: An all-MLP Architecture for Vision
Kazuyuki Miyazawa
?
公共交通データHUBシステム 取組と事例紹介
公共交通データHUBシステム 取組と事例紹介
Masaki Ito
?
イノベーション创発に资する人工知能基盘技术の创出と统合化
イノベーション创発に资する人工知能基盘技术の创出と统合化
Osaka University
?
クラウト?の进化とメテ?ィア理解の発展
クラウト?の进化とメテ?ィア理解の発展
Osaka University
?
ソフトウェアジャパン2018 ITフォーラムセッション(3)
ソフトウェアジャパン2018 ITフォーラムセッション(3)
aitc_jp
?
自作プログラミング言语の集い
自作プログラミング言语の集い
Natsutani Minoru
?
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
Natsutani Minoru
?
Ai from-digital-transformation:ホ?エムなAI はもう終わりにしよう:クラウト?による市民革命とAIによる産業革命
Ai from-digital-transformation:ホ?エムなAI はもう終わりにしよう:クラウト?による市民革命とAIによる産業革命
Osaka University
?
5th長崎QDGスペシャルセッション「「未来社会実現のためのデジタル?トランスフォーメーション(DX)  ~長崎県におけるAIやIoT等の先端技術の活用と...
5th長崎QDGスペシャルセッション「「未来社会実現のためのデジタル?トランスフォーメーション(DX)  ~長崎県におけるAIやIoT等の先端技術の活用と...
NaITE_Official
?
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
础耻迟辞惭尝と蚕耻尘颈肠辞を使って、ラズパイでディープラーニングを动かす话
Natsutani Minoru
?
デジタルテクノロジーの進化がもたらすクルマの付加価値向上 20151218
デジタルテクノロジーの進化がもたらすクルマの付加価値向上 20151218
Sei Kato (加藤 整)
?

Similar to G空間情報シンポ 20161122 v1.1 (20)

Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Takuya Azumi
?
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン? オープンソースの自動運転ソフトAutowareを解説 ?
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン? オープンソースの自動運転ソフトAutowareを解説 ?
SSII
?
惭补补厂を捉えなおそう?熊本の交通を见直そう
惭补补厂を捉えなおそう?熊本の交通を见直そう
Masaki Ito
?
「グーグルの自動運転Carの技術要素」勉強会 2014.08.29
「グーグルの自動運転Carの技術要素」勉強会 2014.08.29
Minoru Chikamune
?
搁颁カーを用いた自动运転车両シミュレーション环境に関する研究
搁颁カーを用いた自动运転车両シミュレーション环境に関する研究
harmonylab
?
车両运行管理システムのためのテ?ータ整备と机械学习の活用
车両运行管理システムのためのテ?ータ整备と机械学习の活用
Eiji Sekiya
?
ROS を用いた自律移動ロボットのシステム構築
ROS を用いた自律移動ロボットのシステム構築
Yoshitaka HARA
?
CCSE2019 TIS - 自律移動サーヒ?スロホ?ットの地図とテ?ータモテ?ルの共通化への取り組み
CCSE2019 TIS - 自律移動サーヒ?スロホ?ットの地図とテ?ータモテ?ルの共通化への取り組み
Nobuyuki Matsui
?
一般道実走行における 自車センサ情報を用いた車線変更の検出
一般道実走行における 自車センサ情報を用いた車線変更の検出
Ryo Neyama
?
【つくばチャレンジ2020 LT2大会】KARAKAZE産学隊2020
【つくばチャレンジ2020 LT2大会】KARAKAZE産学隊2020
HaohaoZhang2
?
[DL輪読会]BADGR: An Autonomous Self-Supervised Learning-Based Navigation System
[DL輪読会]BADGR: An Autonomous Self-Supervised Learning-Based Navigation System
Deep Learning JP
?
SIGSPATIAL 2020 参加報告資料
SIGSPATIAL 2020 参加報告資料
Tomoki Saito
?
Mobilitydev2019 10 31_slideshare
Mobilitydev2019 10 31_slideshare
Tier_IV
?
Summary and supplement of "A survey of motion planning and control techniques...
Summary and supplement of "A survey of motion planning and control techniques...
Adachi (OEI)
?
滨罢エンジニアこそ実现できるモビリティのサービス化
滨罢エンジニアこそ実现できるモビリティのサービス化
Masaki Ito
?
【卒業論文】ステレオカメラによる車両制御における深層学習の適用に関する研究(A Study on Application of Deep Learning...
【卒業論文】ステレオカメラによる車両制御における深層学習の適用に関する研究(A Study on Application of Deep Learning...
harmonylab
?
SSII2019企画: 画像および LiDAR を用いた自動走行に関する動向
SSII2019企画: 画像および LiDAR を用いた自動走行に関する動向
SSII
?
Cartographer と Autoware を用いた自律走行
Cartographer と Autoware を用いた自律走行
Yoshitaka HARA
?
完全自动运転実现のための信頼度付き自己位置推定の提案
完全自动运転実现のための信頼度付き自己位置推定の提案
Naoki Akai
?
Tier Ⅳ Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 -
Tier Ⅳ Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 -
Tier_IV
?
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Takuya Azumi
?
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン? オープンソースの自動運転ソフトAutowareを解説 ?
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン? オープンソースの自動運転ソフトAutowareを解説 ?
SSII
?
惭补补厂を捉えなおそう?熊本の交通を见直そう
惭补补厂を捉えなおそう?熊本の交通を见直そう
Masaki Ito
?
「グーグルの自動運転Carの技術要素」勉強会 2014.08.29
「グーグルの自動運転Carの技術要素」勉強会 2014.08.29
Minoru Chikamune
?
搁颁カーを用いた自动运転车両シミュレーション环境に関する研究
搁颁カーを用いた自动运転车両シミュレーション环境に関する研究
harmonylab
?
车両运行管理システムのためのテ?ータ整备と机械学习の活用
车両运行管理システムのためのテ?ータ整备と机械学习の活用
Eiji Sekiya
?
ROS を用いた自律移動ロボットのシステム構築
ROS を用いた自律移動ロボットのシステム構築
Yoshitaka HARA
?
CCSE2019 TIS - 自律移動サーヒ?スロホ?ットの地図とテ?ータモテ?ルの共通化への取り組み
CCSE2019 TIS - 自律移動サーヒ?スロホ?ットの地図とテ?ータモテ?ルの共通化への取り組み
Nobuyuki Matsui
?
一般道実走行における 自車センサ情報を用いた車線変更の検出
一般道実走行における 自車センサ情報を用いた車線変更の検出
Ryo Neyama
?
【つくばチャレンジ2020 LT2大会】KARAKAZE産学隊2020
【つくばチャレンジ2020 LT2大会】KARAKAZE産学隊2020
HaohaoZhang2
?
[DL輪読会]BADGR: An Autonomous Self-Supervised Learning-Based Navigation System
[DL輪読会]BADGR: An Autonomous Self-Supervised Learning-Based Navigation System
Deep Learning JP
?
SIGSPATIAL 2020 参加報告資料
SIGSPATIAL 2020 参加報告資料
Tomoki Saito
?
Mobilitydev2019 10 31_slideshare
Mobilitydev2019 10 31_slideshare
Tier_IV
?
Summary and supplement of "A survey of motion planning and control techniques...
Summary and supplement of "A survey of motion planning and control techniques...
Adachi (OEI)
?
滨罢エンジニアこそ実现できるモビリティのサービス化
滨罢エンジニアこそ実现できるモビリティのサービス化
Masaki Ito
?
【卒業論文】ステレオカメラによる車両制御における深層学習の適用に関する研究(A Study on Application of Deep Learning...
【卒業論文】ステレオカメラによる車両制御における深層学習の適用に関する研究(A Study on Application of Deep Learning...
harmonylab
?
SSII2019企画: 画像および LiDAR を用いた自動走行に関する動向
SSII2019企画: 画像および LiDAR を用いた自動走行に関する動向
SSII
?
Cartographer と Autoware を用いた自律走行
Cartographer と Autoware を用いた自律走行
Yoshitaka HARA
?
完全自动运転実现のための信頼度付き自己位置推定の提案
完全自动运転実现のための信頼度付き自己位置推定の提案
Naoki Akai
?
Tier Ⅳ Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 -
Tier Ⅳ Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 -
Tier_IV
?
Ad

G空間情報シンポ 20161122 v1.1

  • 1. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 自動運転システムと自己位置推定/地図生成 トヨタIT開発センター 加藤 整 2016年11月22日 @札幌コンベンションセンター 1G空間情報セミナー
  • 2. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 本日のゴール 2 Stanford Junior、Google Car、Autoware?など自律型自動運転システムに関する 公開情報を基に自律型自動運転システムを構成する要素技術の概要を具体的に理解する ?http://www.pdsl.jp/fot/autoware/ 本発表は私個人の見解であり、所属する組織やグループ企業の立場、戦略、意見を代表するものではありません G空間情報セミナー
  • 3. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 目次 1 自動運転システム概要 2 自動運転システムを構成する技術 2-1 自己位置推定と地図生成 3 2-2 物体認識と深層学習、GPGPU 2-3 経路計画/軌道生成、経路追従と車両制御 3 まとめ G空間情報セミナー
  • 4. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 目次 1 自動運転システム概要 2 自動運転システムを構成する技術 2-1 自己位置推定と地図生成 4 2-2 物体認識と深層学習、GPGPU 2-3 経路計画/軌道生成、経路追従と車両制御 3 まとめ G空間情報セミナー
  • 5. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 問題:これらのイノベーションの共通点は? 5 https://en.wikipedia.org/wiki/Internet,https://en.wikipedia.org/wiki/Global_Positioning_System, https://en.wikipedia.org/wiki/Autonomous_car, https://ja.wikipedia.org/wiki/IPhone_4S GPS インターネット Siri 自動運転車 G空間情報セミナー
  • 6. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 6http://www.darpa.mil/ G空間情報セミナー
  • 7. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. DARPA概要 DARPAはスプートニクショックを受けて58年に設立以来、多くのイノベーションへ貢献してきている 7 ソ連、スプートニク1号 打ち上げ成功 1957年 高等研究計画局 設立 1958年 ARPANET 1969年 1978年 GPS DARPA Grand Challenge 2004,2005年 2007年 DARPA Urban Challenge https://en.wikipedia.org/wiki/Sputnik_1, https://en.wikipedia.org/wiki/DARPA, https://en.wikipedia.org/wiki/ARPANET https://en.wikipedia.org/wiki/Global_Positioning_System, http://archive.darpa.mil/grandchallenge04/ http://archive.darpa.mil/grandchallenge/index.html, https://en.wikipedia.org/wiki/DARPA_Robotics_Challenge https://cgc.darpa.mil/ Robotics Challenge 2012-15年 2014-2015年 Cyber Grand Challenge G空間情報セミナー
  • 8. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 8https://www.ted.com/talks/sebastian_thrun_google_s_driverless_car?language=en G空間情報セミナー
  • 9. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 9 1. 基礎 1. 緒言 2. 再帰的状態推定 3. ガウシアンフィルタ 4. ノンパラメトリックフィルタ 5. ロボットの動作 6. ロボットの知覚 2. ローカライゼーション 1. ロボットの位置推定 2. 移動ロボットのいち推定 3. 地図生成 1. 占有格子地図の生成 2. 姿勢と地図の同時推定 3. GraphSLAMアルゴリズム 4. 疎拡張情報フィルタ 5. FastSLAMアルゴリズム 4. 計画と制御 1. マルコフ決定過程 2. 部分観測マルコフ決定過程 3. POMDPの近似手法 4. 探査 https://images-na.ssl-images-amazon.com/images/I/51oedehWUdL._SX440_BO1,204,203,200_.jpg 目次は、上田訳、確率ロボティックス,2007 G空間情報セミナー
  • 10. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 10 DGC 2005, スタンフォード大学 Stanley優勝 DGC 2007 スタンフォード大学 Junior準優勝 https://en.wikipedia.org/wiki/Stanley_(vehicle), http://archive.darpa.mil/grandchallenge/gallery.html https://www.youtube.com/watch?v=bDOnn0-4Nq8, https://www.udacity.com/ S. Thrun et al., Stanley, the robot that won the DARPA Grand Challenge, Journal of Field Robotics, 2006 M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008 2011,オンライン教育機関Udacity設立 2009 Google Self-Driving Cars G空間情報セミナー
  • 11. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. DARPA Urban Challenge 2007 DARPAはオフロードにおける軍事作戦を想定した2004年2005年のGrand Challengeに続き、 市街戦を想定したUrban Challengeを2007年に実施 11 Why develop autonomous vehicles? The National Defense Authorization Act for Fiscal Year 2001, Public Law 106-398, Congress mandated in Section 220 that “It shall be a goal of the Armed Forces to achieve the fielding of unmanned, remotely controlled technology such that… by 2015, one-third of the operational ground combat vehicles are unmanned.” DARPA conducts the Urban Challenge program in support of this Congressional mandate. Every “dull, dirty, or dangerous” task that can be carried out using a machine instead of a human protects our warfighters and allows valuable human resources to be used more effectively. http://archive.darpa.mil/grandchallenge/docs/Urban_Challenge_Team_Welcome_Meeting.pdf G空間情報セミナー
  • 12. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. DARPA Urban Challenge 2007コースレイアウト エリアA(交差点左折、交通への流入)、エリアB(ナビ、駐車)、エリアC(交差点通過、Uターン)の 3つのエリアからなる 12http://archive.darpa.mil/grandchallenge/docs/Urban_Challenge_Team_Welcome_Meeting.pdf G空間情報セミナー
  • 13. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. DARPA Urban Challenge 2007レギュレーション 市街戦を想定しながらも、カルフォルニア州の交通規則に従わないとマイナス点をつけられるなど 市街地走行に必要な安全性も要求 13 http://archive.darpa.mil/grandchallenge/docs/Urban_Challenge_Team_Welcome_Meeting.pdf, 保坂ら、自動運転 システム構成と要素技術,2015 ? 直前に与えられたミッションに従った走行計画生成 ? カルフォルニア州の交通規則に従った走行 ? 複数の自動車とプロドライバが運転する30台の手動運転者が混在して走行する環境で安全に走行 ? 州者スペースから他車両が走行する道路への合流 ? ラウンドアバウトの通過 ? 4方向一時停止交差点における到着順に応じた発信による交差点通過 ? 交差点における信号?標識に応じtあ停止、発進 ? 対向車料など他車両とのタイミングを調整した右左折 ? 停止車両や障害物を避けての通過 ? 対向2車線道路におけるUターン ? 制限速度を認識して速度調整 ? 軽目られた駐車場で駐車スペースを探索して駐車 以下の課題をクリアしながら約60マイル(97km)を6時間以内に走行。 各テスト車の後ろを追跡者が走行、危険な状態になった場合にはリモコ ンで緊急停止。約100箇所のチェックポイントで、交通規則を守っている かを確認し、採点 G空間情報セミナー
  • 14. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. DARPA Urban Challenge 2007の結果 89台のチームが応募、準決勝を通過した11チーム中、6チームがチェッカーフラグを受ける。 優勝はTatan Racing、$2Mを獲得 14http://archive.darpa.mil/grandchallenge/gallery.html 1位: CMU 4:10:20 2位: Stanford 4:29:28 3位: Virginia Tech. 4:36:38 5位: U. Penn. > 6hours 6位: Cornell > 6 hours 4位: MIT Approx 6 hours G空間情報セミナー
  • 15. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 15 Applanix INSVelodyne laserRiegl laser SICK LMS laser SICK LDLRS laserDMIIBEO laserBOSCH Radar LiDAR GNSS/慣性走行装置 ミリ波レーダー 走行距離計 6軸慣性センサは搭載せず M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008 G空間情報セミナー
  • 16. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. Juniorにおけるソフトウェアフローダイアグラム センサー、位置推定モジュール、物体検出モジュール、UKF姿勢推定モジュール、軌道生成器等からなる 16M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008 G空間情報セミナー
  • 17. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. DARPA Urban Challenge 2007の意義 Googleによる自律型自動運転システムへの研究開発に引続き、2013年以降自動車会社や 部品会社から自動運転システムの発表が相次ぐ 17 路車協調方式 http://www.path.berkeley.edu/publications/general-publications, https://www.youtube.com/watch?v=7Yd9Ij0INX0 自律走行型 G空間情報セミナー
  • 18. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 自律走行型自動運転システムを構築する要素技術 自律走行型自動運転システムを構築する要素のうち、太文字について続く頁にて説明する 18 経路計画 軌道生成 SLAM 自己位置推定 物体検出 経路追従 車両制御 地図生成 必要な技術処理内容 高精度3次元地図の生成 認知 判断 操作 フェーズ LIDAR, GNSS, カメラを搭載した車両を走らせ、点 群データを収集。点群データから高精度3次元地図を 作成 スキャンデータと、前述の3次元地図データが重なるよう スキャンマッチング、地図内の位置、向きを算出(自己 位置推定)。他の車両や信号等物体検出 スタートからゴールまでの大まかな経路に従い、車両の 運動特性を考慮してすぐ近くまでの滑らかな経路を生 成(経路生成)。各経路のコストを計算し、経路を選 択 生成された経路を追従するための速度、角速度を車 両に伝達 G空間情報セミナー
  • 19. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 目次 1 自動運転システム概要 2 自動運転システムを構成する技術 2-1 自己位置推定と地図生成 19 2-2 物体認識と深層学習、GPGPU 2-3 経路計画/軌道生成、経路追従と車両制御 3 まとめ G空間情報セミナー
  • 20. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 地図生成 車両にGPS とレーザスキャナ,カメラを搭載し,移動しながら三次元環境を復元するモービルマッピング システムにより地図を生成 20 モバイルマッピングシステム[1] [1]石川ら、モービルマッピングシステムによる都市空間モデリング、計測自動制御学会産業論文集、2009 高精度3次元地図 ポイントクラウド地図 ? 3次元座標(緯度経度標高) ? RGB値 ADAS地図 ? ポイントクラウド地図から地物を抽出 ? 信号、路面標示等 G空間情報セミナー
  • 21. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 3次元LIDAR パルス状に発行するレーザー照射に対応する散乱光を測定することにより距離や、反射強度を測定する 装置 21 可動部の有無 メカレス型 メカニカルスキャン型 走査方式 光フェーズドアレイレーダー MEMSミラーによるスキャン モーター駆動ミラーによるスキャン ビームフォーミング MEMSミラー 水平回転ポリゴンミラーの各面でピッチ角を変更 複数素子による多層化 電磁駆動共振ミラー 主な企業 Quanergy Systems 日本信号、パイオニア等 豊田中央研究所等 Velodyne、Valeo、コ ニカミノルタ 北陽電気 価格 数万円 数万~数十万円 数十万円 数十万-数百万円 数十万円 レーザーを対象物に照射し、散乱光を測定することにより、対象物までの距離や反 射強度を取得。下図はVelodyne HDL-64e(測定距離100-120m, 垂直視 野26.8°、測定ポイント数1333000ポイント/秒 HDL-64e Uer's manual, Nikkei Robotics, 2016, GPU Technology Conference, Solid State LiDAR for Ubiquitous 3D Sensing Quanergy Systems社が採用するフェーズドアレー方式では従来の機構的な可 動部が不要になるため、低コスト化と小型化が期待される。写真はQuanergy Systems社のS3。 受光部 送信部 LSI 60mm G空間情報セミナー
  • 22. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 自己位置推定 自己位置推定とSLAM手法は大きく3つに分類される 22 自己位置推定 位置追従 大域的位置推定 (誘拐ロボット問題) 内界 センサデータ 外界 センサデータ 地図 自己位置 地図生成 既知の姿勢に 基づく地図生成 地図 外界 センサデータ 自己位置 姿勢と地図の 同時推定 (SLAM) 内界 センサデータ 外界 センサデータ 自己位置 地図 + = スキャンマッチング ベイズフィルタ グラフベースSLAM 性質 オンライン オンライン オフライン 概要 環境計測の点群 を最小化計算で 位置合わせ 制御動作に依る 事前確率と環境 計測による尤度を 確率的に融合 各時刻のロボット 位置や地図のラン ドマーク位置の関 係をグラフを制約 条件として最適化 推定の出力 現在のロボット位 置を点推定 現在のロボット位 置と地図を確率 分布として推定 移動軌跡や地図 のランドマーク位置 を点推定 手法の例 ICP, NDT等 EKF, PF等 完全SLAM等 m2 x0 x1 x2 x3 m1 移動 観測 情報行列Ω に移動や観測のデータを どんどん追加 Ωからロボットの軌跡を最 適化で求める Ω:情報行列 = Σ-1 グラフベースSLAM 次頁以降で説明 原、自己位置推定?地図生成(SLAM)の全体像, Nikkei Robotics、2016 G空間情報セミナー
  • 23. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 自己位置推定 スキャンマッチング(1/2) モバイルマッピングシステムで作成したポイントクラウド地図と自社がLIDARで計測したスキャン結果 を合わせ込むことで位置合わせを行う 23 ポイントクラウド地図 ポイントクラウド地図 スキャン結果 スキャンマッチングして 推定された位置 T : 車両の同次変換作用素(回転R+並進Tr) ?? = argmin ? ?=1 ? ||? ? ? ? ? ? ?|| G空間情報セミナー
  • 24. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 自己位置推定 スキャンマッチング(2/2) スキャンマッチングには点対点で評価するICPと、点対分布で評価するNDPが一般的に用いられる 24 Iterative Closest Points(ICP)[1] Normal Distributions Transform(NDP)[2] ? 最近傍点間の距離の2乗和を最小化 ? 計算量はO(MN) ? 地図空間を正規分布で近似、入力スキャン の対応要素をニュートン法で探索 ? 計算量はO(N) [1]P.J. Besl and N.D. McKay. A method for registration of 3d shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992. [2]P. Biber and W. Straber: The normal distributions transform:a new approach to laser scanmatching, Proc. of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2003 ? ? = ?=1 ? ?=1 ? ??? ||?? ? ? ? ?? || ??? = 1 (?と?が対応点) =0 (?と?が対応点でない) ポイントクラウド地図{??} ? ? = ? ?=1 ? ?(? ? ??) j=1 j=2 ?(?) = 1 Σ exp(? (???) ?Σ?1(???) 2 ) n はボクセルの数含まれるdiの数 G空間情報セミナー
  • 25. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 自己位置推定 ベイズフィルタ 制御動作による予測位置を計測結果の情報を使って更新する 25 ? ? ? = 1 ?(?) × ? ? ? ? ? = ? ? ? ? ?(?) ベイズの定理 f (x)がデータY=y を観測する前のX の確率分布とすると f (x|y)は、データY の観測値y を得た後のデータXの確率 分布と解釈される データの観測を通じて事前のより不確かな信念が事後の より確かな信念に変化 上田訳、確率ロボティックス, https://en.wikipedia.org/wiki/Thomas_Bayes ? ? ?|?1:?, ?1:? = ? ? ?? ? ?, ?1:? ?(? ? |?1:??1, , ?1:?) = ? ? ?? ? ?, ?1:? ?(? ? |? ??1, , ? ?)? ? ??1 ?1:??1 , ?1:??1 ?? ??1 信念分布を正規分布で表現→KF, EKF, ノンパラベイズ → PF ポイントクラウド地図:m ロボット位置:? ??1 制御動作:? ? 推定位置:?(? ?)? ??1 真の位置:? ? G空間情報セミナー
  • 26. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 目次 1 自動運転システム概要 2 自動運転システムを構成する技術 2-1 自己位置推定と地図生成 26 2-2 物体認識と深層学習、GPGPU 2-3 経路計画/軌道生成、経路追従と車両制御 3 まとめ G空間情報セミナー
  • 27. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 人工知能とは 人工知能とは、人工的にコンピュータ上などで人間と同様の知能を実現させよう という試み。最近注目を浴びているディープラーニングは機械学習の要素技術の1つ 27 人工知能 人工的にコンピュータ上などで人間と同様の知能を実現させようという試み 機械学習 人間が行っている学習の能力と同様の機能を計算機で実現しようとする試み ニューラルネット 脳機能に見られる特性を計算機上で表現した数学モデル ディープラーニング(深層学習) 多層構造のニューラルネットワーク Wikipedia記事を元にIT開発センター作成 G空間情報セミナー
  • 28. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 機械学習とは 機械学習とは人間が行っている学習の能力と同様の機能を計算機で実現しようとする試み 28 入力 出力 制限速70km/h 歩行者有り 左折以外外進行禁止 直進以外外進行禁止 訓 練 時 ... 運 用 時 制限速60km/h 入力 出力 学習データセット 標識画像はGerman Traffic Sign Detection Benchmark (GTSDB)より 計算機 計算機 G空間情報セミナー
  • 29. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 機械学習の技術動向 機械学習業界では、深層学習研究の割合が増えつつ有る 29各年のNIPS採択論文タイトルより用語を含む件数を数え上げ、その年の採択論文数で除算して比率をITC算出, https://papers.nips.cc/ 0% 10% 20% 30% 40% 50% 1987 1995 2000 2005 2010 2015 Neural SVM, kernel Deep Convex Submod ニューラルネット全盛の時代 機械学習全盛の時代 深層学習が盛り上がる G空間情報セミナー
  • 30. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. ニューラルネットワークの基本計算 1層目のi 番目の入力 u1i に重み ?1?? をかけて足し合わせた後に、活性化関数f をかけて出力する 30 ...... 入 力 デ ー タ 出 力 デ ー タ l=1 l=2 l=Ll=3 u1 (1) ?? (2) = ?=1 ? ??? (2) ?? (1) + ?? ?? (2) = ?(?? (2) ) ?(?) = max(?, 0) ?(?+1) = ?(?+1) ?(?) + ?(?+1) ?(?+1) = ?(?(?+1) ) 回帰の場合 訓練データセット ?1, ?1 , ?2, ?2 , … , ? ?, ? ? ? ? = 1 2 ?=1 ? | ? ? ? ? ?; ? | ? 誤差関数 最適なパラーメタ ?? = argmin ? ?(?) 誤差関数が小さくなるように重みw を調整 →誤差逆伝播法 式(1) uI (1) uJ (2) u1 (2) 表記は、岡谷、深層学習、2015による G空間情報セミナー
  • 31. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 誤差逆伝播法 誤差を最小化するための各層の重みはのずらし方は、出力層から入力層に向かって逆方向に算出するこ とができる 31 第l-1層のユニットiと第l層のユニットjを繋ぐ結合の重みwji (l)に関する微分は、 微分の連鎖規則より となる。ここで右辺第2項は、前頁の式(1)より、簡単に ??? (?) ???? (?) = ?? (??1) と求まる。但し此処で、式(1)の定数項については、重みがbj (l)のユニットが 追加されていると見做している。 右辺第1項について、uj (l) の変動がE に与える影響は、第l+1層の各ユニッ トkの入力uk (l+1) を変化こと以外では発生しないことが判る。即ち、 ?? ?? ? (?) = ? ?? ?? ? (?+1) ?? ? (?+1) ?? ? (?) . 式(3) ?? ???? (?) = ?? ??? (?) ??? (?) ???? (?) 式(2) と表すと、式(2)は最終的に、 ?? ???? (?) = ?? (?) ?? (??1) ?? (?) = ? ? ? (?+1) wkj (l+1) f ′ (uj (l) ) 式(3)の右辺第2項は、簡単にwkj (l+1) f ' (uj (l) ) となるから、 ?? (?) ? ?? ??? (?) l-1 l l+1 u1 (1) uI (1) ?? (?) ?1 (?+1) ? ? (?+1) ? ?+1 (?+1) ? j i k ?? (??1) ? 図:誤差逆伝播の様子。?? (?) は層l+1の?? (?+1) が与えられれば計算可能 表記は、岡谷、深層学習、2015による G空間情報セミナー
  • 32. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 深層学習の概要 2000年後半以降、多層ニューラルネットの学習が可能になり、また各種ベンチマークで深層学習 の有効性が認知されるようになる 32 「浅い」ニューラルネット 「深い」ニューラルネット ...... 「浅い」ニューラルネット 「深い」ニューラルネット (多層ニューラルネット) 入 力 デ ー タ 出 力 デ ー タ 入 力 デ ー タ 出 力 デ ー タ ? 2000年前半までは、多層ニューラルネットの学習が困難であった(勾配消失問題) ? 各層毎に事前に学習し初期パラメータを与えることで多層ニューラルネットの学習ができることが確認(事前学習) ? GPUやマルチコアCPUといった計算機能力が飛躍的に向上し、またウェブ上の充分な量のデータセットが集約 ? 音声認識や画像認識のベンチマークテストで過去の記録が次々に塗り替えられことで有効性が認知 G空間情報セミナー
  • 33. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 深層学習の概要 深層学習は、音声認識、画像解析、物体認識など幅広い分野で活用されつつある技術領域 33 適用エリア 適用アプリケーション モバイル 音声対話 音声認識 Web レコメンデーションエンジン ビデオ検索 自然言語処理 画像解析 自動翻訳 自動車 一般物体認識 高精度地図生成 画像解析 ロボット、ゲーム 強化学習 金融 フィンテック 深層学習の適用エリア G空間情報セミナー
  • 34. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 深層学習適用事例(1/3) 一般物体認識タスクでは、人間の精度よりも高い認識精度を達成した 34 容易 困難 物体カテゴリ識別 (Categorization) 物体検出 (Detection) 物体領域抽出 (Semantic segmentation) 一般物体認識の主要なタスク LSVRC(1000クラス物体識別タスク)のエラー率の推移 28 26 16 12 6.6 5.98 5.1 4.94 4.82 0 5 10 15 20 25 30 8層のCNNにより2位以下に 10%以上の差をつけてトロント 大学Hintonのチームが大勝 2012年のブレークスルー以降2 年で人間の精度を越す エラー率(%) 人間の認識精度 中山、"深層畳み込みニューラルネットワークによる画像特徴抽出と転移学習"を基にITC作成 G空間情報セミナー
  • 35. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 深層学習適用事例(2/3) ロボットの分野では、深層学習により、ロボットが自動的に学習していけるようになりつつある 35 Deep Q Network ? ニューラルネットでQ関数を近似するアプローチQ-Networkgaが提案されていたが、多層なネットワークで上手く学習/収束が行えな い、計算が遅い、実現しうる操作のシークエンスはほぼ無限通りあり、その中でバラバラなサンプリング試行を繰り返すと、学習結果の パラメータが振動したり発散したりする、などの問題があり、実際に性能が示される実装は行われていなかった。 ? DQNでは、学習データセットをミニバッチ更新することでこの学習の不安定性を解消 BRETT (Berkely Robot for the elimination of tedious tasks) PFN CES2016ぶつからないクルマ V. Mnih, "Playing Atari with Deep Reinforcement Learning", https://youtu.be/JeVppkoloXs、PFN画像はCES2016にて加藤が撮影 G空間情報セミナー
  • 36. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 深層学習適用事例(3/3) 画像解析の分野では、画像からその概念を機械が理解できるようになりつつある 36 図の内容を正しくキャ プション生成 図と全く関係のない キャプションを生成 G空間情報セミナー
  • 37. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 人工知能関連企業のグローバルの動き 北米ではグーグル、マイクロソフト、ヤフー、百度等のIT企業が人工知能系人材獲得に注力している 37 上段画像はNIPS2015にて加藤が撮影、解像度を下げて掲載 下段画像はhttps://twitter.com/hashtag/nips2015 G空間情報セミナー
  • 38. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. プレイヤー相関図 基礎研究に従事するトロント大学モントリオール大学は多くの企業と連携、自動車分野でもAmazon やCVGLとの連携あり 38 MIT CSAIL CBBM 機関内のAI関連組織 (部署、学科、ラボ等) NYU ? NYU Center for Data Science ? Center for neural science ? ECE Department 過去に所属等兼務出資 提携?共同研究人名 University of Toront IBM 大学?公的研究機関 大手企業 新興企業 Stanford SAIL Andrew Ng VICARIOUS Baidu DNN research Geoffrey Hinton DeepMind Technology Demis Hassavis FAIR Yann LeCun University Of Montreal MILA Yoshua Bengio Atomwise 医薬品 Amazon CVGL NASA BOSCH Carnegie Mellon University DARPA 提携? 自動車企業 NVIDIA UC Barkley 人工知能プラットフォーム開発 Yahoo G空間情報セミナー
  • 39. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 最新技術動向(1/3) 物体検出から、画像キャプション生成/QA、画像概念へ 39 画像キャプション生成 画像概念へ画像QA O. Vinyals et al., Show and Tell: A Neural Image Caption Generator, arXiv:1411.4555 K. Xu et al., Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, arXiv:1502.03044 J. Andreas et al., Deep Compositional Question Answering with Neural Module Networks, arXiv:1511.02799 S. Antol et al., VQA: Visual Question Answering, arXiv:1505.00468 https://github.com/Newmu/dcgan_code F. Sadeghi et al., VISALOGY: Answering Visual Analogy Questions, arXiv:1509.08075 G空間情報セミナー
  • 40. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 最新技術動向(2/3) 知識記憶機構の構築 40 Memory Networks (MemNN/MemN2N) Neural GPU へNeural Turing Machine (NTM) 学習によりアルゴリズムを獲得文章を記憶、質問に回答 並列化 加算 乗算 1010+0111 0110*0101 S. Sukhbaatar et al., End-To-End Memory Networks, arXiv:1503.08895 A. Graves et al., Neural Turing Machines, arXiv:1410.5401 ?ukasz Kaiser and Ilya Sutskever, Neural GPUs Learn Algorithms, arXiv:1511.08228 G空間情報セミナー
  • 41. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 最新技術動向(3/3) 特徴的なタスクへの適用 41 画像自動生成 (入力画像をNNが鳥と認識するように誘導) 視線検知 画像自動生成 (コンテントとスタイルの相関最大化) 視覚バイアス L.A. Gatys et al., A Neural Algorithm of Artistic Style, A Neural Algorithm of Artistic Style, arXiv:1508.06576 http://googleresearch.blogspot.jp/2015/06/inceptionism-going-deeper-into-neural.html J. Wu et al., Galileo: Perceiving Physical Object Properties by Integrating a Physics Engine with Deep Learning, NIPS2015 C. Vondrick et al., Learning visual biases from human imagination, NIPS2015 A. Recasens et al., Where are they looking?, NIPS2015, https://arxiv.org/abs/1609.03499 モノの物理的特徴の推論 音声合成 G空間情報セミナー
  • 42. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. GPUの基本的な構造 GPUの数千個のコアを活用し並列処理を行うことで、行列計算など演算密度の高い数値計算、機械学 習等画像処理以外に汎用的に利用(GPGPU)。開発フレームワークの例としてNVIDIA CUDAを説明 42 ホスト デバイス CPU メインメモリ L2 NVLink ← PCI-E ストリーミング マルチプロセッサ CUDAコア (2000-4000個程度) 共有メモリ レジスタ CUDAにおける言語拡張GPUの基本的な構造 ? 関数修飾子 ホストとデバイスのどちらで実行するかを指定 ? __global__, __device__, __host__ ? カーネル関数呼び出し ? kernel <<<grid,block>>>(); ? grid: ブロックによるグリッドの次元とサイズ ? block: スレッドによるブロックの次元とサイズ ? dim3宣言 3次元ベクトルの整数型の宣言 ? ホスト同期 ? cudaMemcpy() ? cudaThreadSynchronize() grid block thread #include <stdio.h> __global__ void helloFromGPU(){ printf("GPU?n"); } int main(int argc,char **argv){ printf("CPU?n"); dim3 block(10,1); dim3 grid(1,1); helloFromGPU<<<grid,block>>>(); cudaDeviceReset(); } CUDAによるプログラミング例 G空間情報セミナー
  • 43. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 目次 1 自動運転システム概要 2 自動運転システムを構成する技術 2-1 自己位置推定と地図生成 43 2-2 物体認識と深層学習、GPGPU 2-3 経路計画/軌道生成、経路追従と車両制御 3 まとめ G空間情報セミナー
  • 44. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 自動運転システムでの自動走行までの流れ 駐車計画等も含めた起点終点情報から大まかな経路計画を立て、それに沿って軌道を生成、障害物 回避等を折り込みながら最終的な次の時間ステップの目標速度、目標加速度を車両に伝達 44 Hybrid-state A* Search [1] 他 Pure Pursuit Path Tracking Algorithm[2] PIDコントロール 他 [1] D. Dolgov, Practical Search Techniques in Path Planning for Autonomous Driving [2] R. Craig Conlter, Implementation of the Pure Pursuit Path Tracking Algorithm, CMU-RI-TR-92-0 経路計画 速度、角速度を車両へ伝達 軌道生成 経路追従 State Lattice Planner 他 G空間情報セミナー
  • 45. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 軌道生成 現在姿勢と目標姿勢を繋ぐ曲線を生成、各曲線の評価関数を設定、安全な軌道を選択 45M. Montemerlo et al., Junior: The Stanford Entry in the Urban Challenge, Journal of Field Robotics, 2008 横方向のオフセット を設けた目標姿勢 軌道の曲率を考慮し、 車両が走行可能な 軌道を生成 生成した各軌道について評価関数を算出、 安全な軌道を選択 G空間情報セミナー
  • 46. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. ピュアパス追跡アルゴリズム ピュアパス追跡アルゴリズムにより、目標経路を実現する、目標速度と目標角速度が求まる 46R. Craig Conlter, Implementation of the Pure Pursuit Path Tracking Algorithm, CMU-RI-TR-92-0 x y (x ,y) r l dx y ?2 + ?2 = ?2 ? + ? = ? ?2 + ?2 = ?2 ? = 2? ?2 ? x y l look ahead distance G空間情報セミナー
  • 47. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 車両制御 Loodahead Distanceを適切に設定することにより、乗り心地のいい滑らかな運転を実現。 最終的に求まる目標速度と目標角速度を車両の送信 47[1]R. Craig Conlter, Implementation of the Pure Pursuit Path 'hcking Algorithm, CMU-RI-TR-92-0 lookhaed distanceの値によって車両の曲がり易さが変わる[1] ? ? = ?? ? ? = 2? ?2 ? ? ? ? l が小さい l が大きい G空間情報セミナー
  • 48. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 目次 1 自動運転システム概要 2 自動運転システムを構成する技術 2-1 自己位置推定と地図生成 48 2-2 物体認識と深層学習、GPGPU 2-3 経路計画/軌道生成、経路追従と車両制御 3 まとめ G空間情報セミナー
  • 49. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. まとめ ?DARPA Grand Challenge/DARPA Urban Challengeを通じて、ロボティックス技術が自動運転 システムへ。自動車会社より2013年頃から乗用車の自動運転システムの発表相次ぐ ?自動運転システムの基本的な構成は ?センサー:LIDAR、ミリ波レダー、GNSS、DMI、IMU、カメラ ?制御システム:認知モジュール、判断モジュール、操作モジュール ?大量データ処理、運転時例外処理の学習、高精度地図等情報処理技術の担う役割が一層増しつつ ある ?特に大量の自動運転システム搭載車が走り回る際のサイバー空間としての地図整備への期待が高い 49G空間情報セミナー
  • 50. ?2016 Toyota InfoTechnology Center Co., Ltd.?2016 Toyota InfoTechnology Center Co., Ltd. 50 End of File G空間情報セミナー