Si2016 発表スライド
- 2. About Me ? 所属 XXXX株式会社 XXXXXXXXXXXXXXXXX ? 業務内容：車載カメラ向けの画像処理ソフト開発 ? 画像処理技術 & 自律走行技術 & 応用アプリケーションを作り たい ? ものづくり大好き ? 過去にもロボコン参加歴あり． ? ETロボコン2013 ? つくばチャレンジ2015
- 3. つくばチャレンジ3ヵ年計画 ? つくばチャレンジ2015 (参加初年度) ? ハードウェアの作成 ? つくばチャレンジ2016 (<- 今ここ) ? ソフトウェアの作成及び，コース完走 ? つくばチャレンジ2017 ? コース完走，及び全課題達成！
- 4. つくばチャレンジ3ヵ年計画 ? つくばチャレンジ2015 (参加初年度) ? ハードウェアの作成 ? つくばチャレンジ2016 (<- 今ここ) ? ソフトウェアの作成及び，コース完走 ? ベースとなるアイデアの作成．．． ? つくばチャレンジ2017 ? コース完走，及び全課題達成！ 2015年，ここでリタイア 70m/1580m 2016年，ここでリタイア 80m/2013m 進歩，10m．．． (((( ；?Д?)))????????????
- 5. ということで，技術的にはかなり素朴な発表内容になりますが，，， 「素人が Google 先生に頼りながら， 0 から自作ロボットを作ったらどうなるか？」 という観点で見ていただけると楽しんでいただけるかと思います．
- 6. Tsukuba Exploration Rover コンセプト ? パッシブセンサ（画像処理）だけでコースの完走をめざす！！ ? 達成できれば，注目される！ ? パッシブセンサのみで完走したチームはいまだ無し． ? 「素人のように考え，玄人のように実行する」 by 金出先生 ? 動物は視覚情報のみで自律移動 ? 解釈さえ正しくできれば，一番リッチな情報源． Why Image Processing?
- 7. Tsukuba Exploration Rover コンセプト ? パッシブセンサ（画像処理）だけでコースの完走をめざす！！ ? 達成できれば，注目される！ ? パッシブセンサのみで完走したチームはいまだ無し． ? 「素人のように考え，玄人のように実行する」 by 金出先生 ? 動物は視覚情報のみで自律移動 ? 解釈さえ正しくできれば，一番リッチな情報源． Why Image Processing?
- 8. システム構成 ~ Hardware ~ Arduino x 2 CMOS Cam x 2 IMU Ubuntu PC PC Battery Motor Battery Components Qt y Model Platform 1 Toyota Land Cruiser – CR01 (Tamiya) CMOS Camera 2 Camera : DFK23UM021 (Imaging Source) Lens : 13FM22IR (Kowa) Micro Controller 2 Arduino Leonard PC Battery 2 700-BTL017BK (Sanwa) Motor Battery 2 YB-S392 (Yokomo) Servo Motor 2 MG995 IMU w Compass 1 MPU9150 (InvenSense) DC Motor 1 AT7-146 (ATLAS) PC 1 PC : BOXNUC5I7RYHR (Intel) OS : Ubuntu 15.04, Memory 16GB
- 9. システム構成 ~ Software ~ Tsukuba Exploration Rover Arduino Controller Camera Left Odometry Controller Camera Right IMU Wheel Pulse Right Wheel Pulse Left Localization Map Server Free Space Detector Stereo Top View Transform GridMap ImageImage
- 10. Tsukuba Exploration Rover コンセプト 画像処理を用いた検知?認識 ? 路面の “色?テクスチャ” ，障害物の “立体構造” を用いた自 己位置認識，及び軌道計画の実施． ? ステレオカメラを用いた立体構造物の検出． ? 路面色?テクスチャ情報の抽出． 1. 映像取得 2-1. 視差計算，路面検出，構造物検出 2-2. 色，テクスチャ検出 3. 走行可能エリア検出 & マップマッチング
- 11. システム構成 ~ Stereo ~ ? ステレオ ? Extrinsic, Intrinsic ともに OpenCV を使用． ? SGBM（Semi Global Matching） を使用． ? ソフトウェアにてシャッタータイミングを同期． (ハードウェアトリガがサポートされておらず，同期が ms オーダーでしか実現できず，フレーム取得時にロボットを停 止させる必要あり．．) ? 出力 視差情報：路面上に存在する障害物の検知に利用． vDisparity : ロボットのピッチ角推定に使用． 左右画像 視差情報，及び vDisparity ステレオカメラ コーナンで買った 1000円のアルミステー
- 12. システム構成 ~ TopView Transform ~ ? 鳥瞰図変換 ? 自動車のサラウンドビューを見て，使うことを思いつく． ? ステレオの視差情報をもとに，ピッチ角を計算． ? ピッチ角情報をもとに，視点変換． XvcYvc Zvc Oc Ovc Xc Yc Zc Ow Zw Xw Yw X Y X’Y’ HC DVC HVC θ 映像取得 鳥瞰図画像 模式図
- 13. ? 立体構造物検知による Free Space の検出 ? 路面を一様平面と仮定し，視差が推定路面の範囲より大きいものを障 害物として扱う．（障害物は路面に垂直に生えていると仮定する．） ? 路面色?テクスチャ情報による Free Space の検出． ? ロボットの前方1m2内の色情報を分析し，色情報が似通っている場所の みを Free Space とする． システム構成 ~ Free Space Detector ~ 映像取得 視差取得，障害物検知 鳥瞰図変換 & 色分析 二値化 鳥瞰図変換 合成結果
- 14. システム構成 ~ Map, Localization ~ ? レファレンスデータ取得のため，台車を作成． ? 自作ロボットでは足回りが不安定なため，レファレ ンスデータ取得に不向き． ? ステレオカメラ，オドメトリ計測器を搭載． ? 大清水公園一周くらいは耐えられるオドメトリ 大清水公園のマップデータ
- 15. 2016年の反省と2017年に向けて ? いろんなこと (新しいこと，難しいこと) がやりたくなる． ? 寄り道厳禁！まずは簡単，シンプルなことから取り組む． ? 開発，実機検証の小さなループを常に回す． ? システムとしての検証を怠らない！ ? 1年は短い！ ? つくばチャレンジ参加者向け説明会が7月で，ここから本番まで4か 月．．．．この段階である程度動くものがないと，ツラい．．． 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 本番 試走会シーズン 説明会
- 16. 2016年の反省と2017年に向けて ? いろんなこと (新しいこと，難しいこと) がやりたくなる． ? 寄り道厳禁！まずは簡単，シンプルなことから取り組む． ? 開発，実機検証の小さなループを常に回す． ? システムとしての検証を怠らない！ ? 1年は短い！ ? つくばチャレンジ参加者向け説明会が7月で，ここから本番まで4か 月．．．．この段階である程度動くものがないと，ツラい．．． 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 本番 試走会シーズン 説明会
- 18. Appendix
- 19. 質問事項 ? つくばチャレンジへの参加目的と達成度合い ? 画像処理技術，自律走行のための知識?方法論に対する理解を深める．(40%) ? 実際にモノづくりを通して，スキルの向上を図る．(100%) ? 技術的目標と目標達成のために必要であった基本的技術要素 ? 技術的目標 「パッシブセンサのみを用いたコースの完走」 ? 必要であった基本的技術要素：無数にあったような気がしています．．． ? システム構築における既存システムの利用 ? ROS (ノード間通信)，Arduino (モータ制御，センサコントロール)，OpenCV (画像処 理のための枠組み) ? つくばチャレンジの経験や成果を生かしていく具体的な計画 ? 仕事とある程度リンクしているので，習得した技術はそのままダイレクトに役立っています．