現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Meetup)
Download as PPTX, PDF2 likes2,385 views
2019/04/24 に開催された、Intel RealSense JapaIntel RealSense Japan Meetup での発表スライドです。
![SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン? オープンソースの自動運転ソフトAutowareを解説 ?](https://cdn.slidesharecdn.com/ss_thumbnails/ts2ssii2022r4-220607054405-1c6b5fc2-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to 現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Meetup) (20)
Recently uploaded (15)
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Meetup)
- 1. 現実世界コンピューティング RealSense とロボットと HoloLens 株式会社ホロラボ 古田裕介 たるこす(@tarukosu) HoloLab Inc. #TMCN #RealSense #パーソルPT
- 2. 自己紹介 古田裕介 株式会社ホロラボ Researcher Microsoft MVP for Windows Development (2018/07~2019/06) Twitter たるこす (@tarukosu) ブログ たるこすの日記 (http://tarukosu.hatenablog.com) HoloLab Inc.
- 3. 目次 ? 現実世界コンピューティング ? 利用デバイス紹介 ? RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
- 4. 目次 ? 現実世界コンピューティング ? 利用デバイス紹介 ? RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
- 9. 現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc. ?現実世界へ作用 ロボット → 物理的に現実を変える HoloLens→ 視覚的?聴覚的に変える
- 11. 現実世界コンピューティング HoloLab Inc. 現実世界を対象とした コンピューティング（独自定義） ? 現実世界をセンシング ? コンピュータで認識?処理 ? 現実世界にアウトプット ? 現実世界へ作用 ? ロボット 物理的に現実を変える ? HoloLens 視覚的?聴覚的に現実を変える
- 12. 現実世界API こんなコードが書けたら面白い HoloLab Inc. // 赤ちゃんの写真を撮る var image = await TakePictureOfBaby(); // 寝ているかどうかチェック var isSleeping = await CheckIfSleeping(); // 寝ているかどうかで処理を変える if(isSleeping){ ... }else{ ... } 写真の撮り方は指定しない ?部屋に設置されたカメラで写真を撮る ?ロボットが写真を撮る ?人が写真を撮る
- 13. 目次 ? 現実世界コンピューティング ? 利用デバイス紹介 ? RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
- 14. Intel NUC (Next Unit of Computing) ? Intel が販売している小型PC ? 今回は Ubuntu 16.04 をインストール HoloLab Inc. Intel BLKNUC7I7DNHE
- 15. RealSense D435i ? RGB カメラ ? 赤外線ステレオカメラによる 深度推定 HoloLab Inc. カラーデータとデプスデータを組み合わせて 生成した3次元メッシュ RealSense D435i
- 16. RealSense T265 HoloLab Inc. ? トラッキングカメラ ? 2個の魚眼カメラとIMUでSLAM ? 自己位置を取得できる 魚眼カメラの映像 RealSense T265
- 17. HoloLens ? スタンドアロンで動作する透過型 ヘッドマウンテッドディスプレイ ? Windows 10 を搭載 ? 自己位置の認識がかなり正確 HoloLab Inc. HoloLens
- 18. Roomba ? お掃除ロボット ? カバーを外すとコネクタがあり、 シリアル通信で制御可能 （コネクタがない機種もある） HoloLab Inc. Roomba 577
- 19. WHILL Model CR ? パーソナルモビリティ ? シリアル通信で制御可能 ? メーカー希望小売価格 750,000円 HoloLab Inc. WHILL Model CR
- 20. Roomba + RealSense HoloLab Inc. モバイルバッテリー Intel NUC RealSense D435i RealSense T265
- 21. WHILL + RealSense HoloLab Inc. RealSense T265 RealSense D435i Intel NUC モバイルバッテリー
- 22. 目次 ? 現実世界コンピューティング ? 利用デバイス紹介 ? RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
- 23. デモ HoloLab Inc.
- 24. Roomba デモ HoloLab Inc. YouTube で動画を表示 https://www.youtube.com/watch?v=qEwFmXefHe0
- 25. WHILL デモ HoloLab Inc. YouTube で動画を表示 https://www.youtube.com/watch?v=qEwFmXefHe0
- 26. 人とロボットのコミュニケーション AR によって 3次元空間で人とロボットがコミュニケーションできる HoloLab Inc. 人からロボットへの指示 ロボットから人への情報提示
- 27. センサデータ可視化 HoloLab Inc. 点群データを HoloLens を使って表示
- 28. システム構成 HoloLab Inc. RealSense T265 Intel NUC RealSense D435i WHILL 位置 移動速度 カラー画像 デプス画像 HoloLens ?センサデータ取得 ?障害物検知 ?自律移動 センサデータ 経路 ?センサデータ表示 ?移動経路表示 ?目的地指示 目的地
- 29. システム構成 (詳細) HoloLab Inc. RealSense T265 Intel NUC RealSense D435i WHILL 位置 移動速度 カラー画像 デプス画像 HoloLens センサデータ 経路 ?センサデータ表示 ?移動経路表示 ?目的地指示 目的地 WHILL のコントロール 自律移動 ROS (Robot Operation System) を利用 (https://github.com/tarukosu/realsense_mobile_robot) 位置データ取得 画像データ取得 障害物検知 一定以上の高さのものを 障害物とみなす 点群データ 自己位置 移動速度 障害物
- 30. ROS (Robot Operating System) ? OSS のロボット用フレームワーク ? パッケージ（特定の機能のプログラムをまとめたもの）が数多く公開 されており、それらを自由に組み合わせてシステムを構成できる HoloLab Inc. ジョイスティックの入力値を 出すノード（プログラム） ロボットの移動量を決める ノード（プログラム） WHILL を動かすノード （プログラム） Roomba を動かすノード （プログラム） ROS ノードの動作イメージ
- 31. センサ?ロボット用の ROS パッケージ ? センサ → センサデータを ROS のメッセージとして出す ? ロボット → ROS のメッセージを受け取って動作する ? 今回利用したROS パッケージ ? RealSense : https://github.com/intel-ros/realsense ? WHILL : https://github.com/WHILL/ros_whill ? Roomba : https://github.com/AutonomyLab/create_autonomy HoloLab Inc.
- 32. HoloLens アプリケーション ? Unity 2018.3 ? UWP, IL2CPP ビルド ? ROS#(https://github.com/siemens/ros-sharp) ? C# (Unity) で ROS を利用するためのライブラリ ? 直接 ROS の通信をするわけではなく、rosbridge を利用する ? オリジナルのものは .NET Framework 4.5 向け ? .NET Standard 2.0 でビルドすれば利用可能（コード変更なし！） HoloLab Inc. rosbridge は ROS のメッセージを WebSocket でブリッジするノード
- 33. システム構成 (詳細) HoloLab Inc. RealSense T265 Intel NUC RealSense D435i WHILL 位置 移動速度 カラー画像 デプス画像 HoloLens ROS#ライブラリ WHILL のコントロール 自律移動 位置データ取得 画像データ取得 障害物検知 一定以上の高さのものを 障害物とみなす 点群データ 自己位置 移動速度 障害物 rosbridge ROS のメッセージを JSON形式に変換 WebSocket でやりとり 目的地を指定 センサデータを表示
- 34. ROS ? Unity の座標系変換 ROS の TF を Unity ゲームオブジェクトの親子関係に変換 HoloLab Inc. ROS Unity
- 35. ROS ? Unity の座標系変換 ROS と Unity では座標軸の取り方が違う HoloLab Inc. ROS 右手系 Z-Up 色 : RGBの順で XYZ 右手系/左手系: XYZの順で親指、人差し指、中指 Unity 左手系 Y-Up
- 36. ROS ? Unity の座標系変換 本来は X が前だが、間違えて右が X だと思って変換した 初期表示のときに根元から 90° ずれてしまうだけで、 マーカで位置合わせすれば問題ない HoloLab Inc. Unity 左手系 Y-Up ROS 右手系 Z-Up 位置: (x, y, z) → (x, y, z) 回転: (x, y, z, w) → (x, z, y, -w)
- 37. HoloLens と WHILL の位置合わせ ? WHILL と RealSense T265 の位置関係は手で測って設定 ? 今回のデモ内容であれば、 数 cm ずれていても問題ない ? WHILL と HoloLens の位置関係はマーカー画像を使って設定 ? Vuforia を利用 HoloLab Inc. RealSense T265 HoloLens RealSense の原点
Editor's Notes
- #6: 個人的に目指しているもの、やりたいこと 現実世界コンピューティングというのは独自定義の言葉なので、覚える必要はない 現実世界を対象としたコンピューティング 多くのコンピュータはキーボードによる入力、画面への出力 これを現実世界を入力とし、現実世界へ出力するようなコンピューティングに興味がある そのために重要となる要素が
- #11: コンピュータによって変えるリアリティ ものを動かす 自分自身を動かす（センサを動かす） 人間は当然これをやっている。 - もの運んで。 - 5か月の娘、寝てるか見てきて
- #13: 妄想なんですが、
- #16: 今回は IMU は使っていない
- #17: すごい便利 ロボットの位置を取得
- #18: HoloLens ってなにができる？ HoloLens はどこにでもおけるような3Dディスプレイのようなもの 2D ディスプレイ って何ができる？→コンテンツ次第 HoloLens でも同じ。なんでもできる
- #24: Rviz みせる コントローラで T265 で動いている様子 D435 でコストマップ HoloLens みせる センサデータ表示
- #27: 生のセンサデータだけじゃなく ロボットの認識結果、行動予定 人に尋ねる
- #30: IntelNUC
- #31: Roslaunch の紹介？
- #32: なければ作ればいい
- #35: マーカーで位置合わせをするので、问题ない
- #36: マーカーで位置合わせをするので、问题ない
- #37: マーカーで位置合わせをするので、问题ない