Google Tangoで 現実世界を感じてみよう
Download as pptx, pdf2 likes1,753 views
SLAM(V-SLAM)の概要とGoogle Tangoの簡単な実装解説です。
![ADF読込
private AreaDescription FindAreaDescription()
{
//DebugPrint("PopulateList start", false);
AreaDescription[] list = AreaDescription.GetList();
AreaDescription foundADF = null;
//DebugPrint("Length = " + list.Length, false);
if (list != null && list.Length > 0)
{
foreach (AreaDescription areaDescription in list)
{
AreaDescription.Metadata metadata = areaDescription.GetMetadata();
if (metadata.m_name == FILE_NAME)
{
foundADF = areaDescription;
//DebugPrint("found uuid = " + foundADF.m_uuid, false);
break;
}
}
}
if (foundADF == null)
{
//DebugPrint("No area descriptions available.", false);
}
return foundADF;
}](https://image.slidesharecdn.com/googletangov2d-171120013501/85/Google-Tango-54-320.jpg)
Google Tangoで 現実世界を感じてみよう
- 3. 本日の内容 ? SLAMとは ? Visual SLAMとは ? マーカーレスAR ? GoogleTangoとは ?MotionTracking ?Area Learning ?Depth perception ?Visual Positioning Service
- 4. SLAMとは Simultaneous Localization And Mapping ? もともとはロボット分野 Localization : 位置?姿勢推定 Mapping : マップの推定 車の自動運転、ドローン、ロボット掃除機な どで利用される。3Dスキャナとして利用され はじめる。 サ イ モ テ ー ニ ア ス
- 5. 搁耻濒辞にも搭载
- 6. 価格.肠辞尘
- 7. 犬
- 8. SLAMの目 ? レーザーレンジスキャナー(測域センサ) ? RGBカメラ ? Depth(深度)カメラ ? Stereo(2眼)カメラ レーザーレンジスキャナーはとても高価なので カメラ映像をもとに推定を行う、Visual SLAM がスマホなどで使われるようになってきた。
- 9. Visual SLAMとは ? カメラの画像をもとに現実世界の特徴を利用 して空間認識と、位置推定を行う。 ? ＲＧＢの単眼カメラ、ステレオカメラ、深度 カメラなどで実現するため安価。
- 10. Visual SLAMとは ? フレーム間での特徴点を対応づけ、特徴 を追跡し、環境Mapを作成 参考 https://goo.gl/uFqQtk
- 11. Visual SLAMのデモ ? Outdoor stereo SLAM with RTAB-Map ミュンヘン工科大学コンピュータビジョングループ ? Real-TimeTrajectory Replanning for MAVs using Uniform B-splines and 3D Circular Buffer ? Autonomous Camera-Based Navigation of a Low-Cost Quadrocopter
- 12. Visual SLAMの弱点 ? 特徴の変わるものは苦手 – 動くもの – 反射する、透明なもの ? 特徴のないものは苦手 – 無地の壁 ? 同じ特徴の時は同じものとみなす – 病室みたいなものや、ビルの階数の違いなど
- 14. SLAMの用語 ? Drift correction ループクロージャー(Loop closure)とも呼ば れるドリフト補正を実行できます。デバイ スは既に通過した場所に戻ってきたとき、 ループの中を移動してきたことを理解し、 その経路を補正する。
- 15. マーカーレスARが流行る ? GoogleTango ? Google ARCore ? AppleARKit(iOS11) ? KudanAR ? GrapecityWikitude
- 16. コンピュータビジョン技術 使われている技術の種類 SLAM リアルタイムに周囲環境のマッ ングと自己位置推定を行う。 GoogleTango Windows Mixed Reality (Hololens) Visual Odometry (VO) リアルタイムの自己位置推定の で、グローバルマップを作らな AppleARKit Google ARCore
- 20. Visual Positioning Service MotionTracking、Area Learningなど組み合 わせ、地図上のどこに自分がいるかを把握 できる。
- 21. とは Tango ARCore ? MotionTracking ○ ○ ? Area Learning ○ ? Depth perception ○ ○ ? Visual Positioning Service ○ ? Light estimation ○
- 25. 鲍狈滨罢驰での开発
- 26. Tango SDK ? Application development stack
- 27. Unity開発の前準備 ? Android SDK with package level 17+ installed. ? Unity (5.2.1 or later), set up for Android development. ? Tango Unity SDK. ? OnWindows, install the Google USB Driver if your device is not recognized automatically.
- 28. Unity開発の前準備 ? Edit > Preference のExternalToolsでAndroid SDKとJDKの設定。
- 29. Unity開発の前準備 ? File > Build Settings > Android > Player SettingsのMinimumAPI Levelを17以上にす る。 ? Unity用のTango SDKをimport
- 30. MOTIONTRACKING
- 31. 惭辞迟颈辞苍罢谤补肠办颈苍驳の実装 ? Texture(Cubemap)作成 ? Skyboxマテリアル作成 ? LightingのシーンタブでSkybox Materialに マテリアル割り当て ? Main Camera削除
- 32. 惭辞迟颈辞苍罢谤补肠办颈苍驳の実装 ? ProjectウィンドウのAssets >TangoPrefabs からTango ManagerとTangoCameraをシー ンにドロップ ? Tango Cameraを選択し、InspectorのClear FlagをSky Boxに変更する。 ? Buildして完成
- 35. DEPTH PERCEPTION
- 36. Depth Perceptionの実装 ? ProjectウィンドウのAssets >TangoPrefabs からTango ManagerとTangoCamera 、 Tango Point Cloudをシーンにドロップ ? Tango Managerを選択、InspectorでEnable Depthにチェックを入れる。
- 37. Depth Perceptionの実装 ? Tango Point Cloudを選択し、Inspectorの Mesh RendererとUpdate Points Meshに チェックを入れる。 ? Tango Cameraを選択し、InspectorのClear FlagをSolidColorに変更する。 ? Buildして完成
- 40. AREA LEARNING
- 41. Area Learningの用語 ? Area Description 学習した空間情報、ADF（Area Description File）とい うファイルに保存できる。 ? Frames of Reference Area(3D空間)のどの位置にどの向きにデバイスがあ るかを知ることができる。その空間(枠組み)のこと ? Pose Frames of Referenceの中での位置と向きのこと
- 42. Area Learningの実装 ? 地図の作成機能 – 初期化 – エリアラーニング開始 – ADF保存 ? 作成した地図上にマーカー設置と保存す る機能 – 初期化 – ADF読込 – エリアラーニング開始 – マーカー設置
- 43. Area Learningの実装 ? 流れ Start Stratup ADFなし Learning Mode = True ADF保存 End Start Stratup ADFあり Learning Mode = False ADF読込 End マーカー設置 ADF
- 44. Learning ModeとADFの利用 Learning Mode ADF 利用 フレームに対する姿勢データを利用可能か ADFを保存できるかサービス開始位置 デバイス位置 AD デバイス位置 AD サービス 開始位置 False False 開始時に利用可能 利用不可 利用不可 ADを保存できません True False 開始時に利用可能 開始時に利用 可能 開始時に利用可 能 新しいUUIDで現在のADが 保存される False True 開始時に利用可能 ローカライズ された後に使 用可能 ローカライズさ れた後に使用可 能 ADを保存できません True True 開始時に利用可能 ローカライズ された後に使 用可能 ローカライズさ れた後に使用可 能 ロードしたADFに対して ローカライズされるまでは、 ADを保存できません。 保存するときはロードした ADFと同じUUIDを使用し、 本質的には古いADに新し く学習した領域を追加し、 拡張しています。
- 45. Tangoの座標系 ? サービス開始位置またはADのいずれかを APIの基準座標系として使用する Tango : 右手系 Unity : 左手系
- 46. 初期化処理 ? Registerで、Tango Serviceへ接続 ※継承したインターフェースの実装 (OnTango～)が呼ばれるようになる。 public class AreaLearning : MonoBehaviour, ITangoLifecycle, ITangoPose, ITangoEvent, ITangoDepth
- 47. 初期化処理 public void Start() { m_poseController = FindObjectOfType<TangoPoseController>(); m_tangoApplication = FindObjectOfType<TangoApplication>(); if (m_tangoApplication != null) { m_tangoApplication.Register(this); if (AndroidHelper.IsTangoCorePresent()) { m_tangoApplication.RequestPermissions(); } } else { DebugPrint("No Tango Manager found in scene."); } }
- 49. エリアラーニング開始 public void StartAreaLearning(bool isNewAreaDescription) { m_isLearning = isNewAreaDescription; if (m_isLearning) { m_currentAreaDescription = null; m_tangoApplication.m_areaDescriptionLearningMode = true; } else { m_currentAreaDescription = FindAreaDescription(); if (m_currentAreaDescription == null) { DebugPrint("not found AD."); return; } m_tangoApplication.m_areaDescriptionLearningMode = false; } m_poseController = m_tangoCamera.GetComponent<TangoPoseController>(); m_poseController.gameObject.SetActive(true); m_tangoCamera.SetActive(true); // Relocalization中のImage表示用 m_relocalization.SetActive(true); m_tangoApplication.Startup(m_currentAreaDescription); }
- 51. ADF保存 if (m_tangoApplication.m_areaDescriptionLearningMode) { m_saveThread = new Thread(delegate () { // ADF削除 AreaDescription oldAreaDescription = FindAreaDescription(); // ADF保存 m_currentAreaDescription = AreaDescription.SaveCurrent(); AreaDescription.Metadata metadata = m_currentAreaDescription.GetMetadata(); if (m_currentAreaDescription != null) { metadata.m_name = FILE_NAME; m_currentAreaDescription.SaveMetadata(metadata); DebugPrint("New ADF ID = " + m_currentAreaDescription.m_uuid, true); if (oldAreaDescription != null) { oldAreaDescription.Delete(); } } else { DebugPrint("ADF not found", true); } }); m_saveThread.Start(); }
- 52. ADF保存 ? ADFの中身は？
- 54. ADF読込 private AreaDescription FindAreaDescription() { //DebugPrint("PopulateList start", false); AreaDescription[] list = AreaDescription.GetList(); AreaDescription foundADF = null; //DebugPrint("Length = " + list.Length, false); if (list != null && list.Length > 0) { foreach (AreaDescription areaDescription in list) { AreaDescription.Metadata metadata = areaDescription.GetMetadata(); if (metadata.m_name == FILE_NAME) { foundADF = areaDescription; //DebugPrint("found uuid = " + foundADF.m_uuid, false); break; } } } if (foundADF == null) { //DebugPrint("No area descriptions available.", false); } return foundADF; }
- 56. エリアラーニング開始 public void StartAreaLearning(bool isNewAreaDescription) { m_isLearning = isNewAreaDescription; if (m_isLearning) { m_currentAreaDescription = null; m_tangoApplication.m_areaDescriptionLearningMode = true; } else { m_currentAreaDescription = FindAreaDescription(); if (m_currentAreaDescription == null) { DebugPrint("not found AD."); return; } m_tangoApplication.m_areaDescriptionLearningMode = false; } m_poseController = m_tangoCamera.GetComponent<TangoPoseController>(); m_poseController.gameObject.SetActive(true); m_tangoCamera.SetActive(true); // Relocalization中のImage表示用 m_relocalization.SetActive(true); m_tangoApplication.Startup(m_currentAreaDescription); }
- 58. マーカー設置 m_findPlaneWaitingForDepth = true; // Depthカメラを有効にする m_tangoApplication.SetDepthCameraRate(TangoEnums.TangoDepthCameraRate.MAXIMUM); while (m_findPlaneWaitingForDepth) { yield return null; } m_tangoApplication.SetDepthCameraRate(TangoEnums.TangoDepthCameraRate.DISABLED); // 平面を見つける Camera cam = Camera.main; Vector3 planeCenter; Plane plane; if (!m_pointCloud.FindPlane(cam, touchPosition, out planeCenter, out plane)) { yield break; } // 法線ベクトル Vector3 up = plane.normal;
- 59. Area Learningデモ ? Area Learningした情報と実際の物の場所の 情報を紐づける。 家電AR + NLP(文脈理解)
- 62. Visual Positioning Service ? Indoor Retail Mapping Leader aisle411 Delivers In-Store 3D Mapping on Google's ProjectTango
- 63. VPSでやれること ? 情報の提供 – 固定の情報を配信 ? 場所を知らせる ? 物の情報を知らせる – いま、その場所にいる人に情報を配信 ? 広告 ? リコメンド ? 利用者の場所をリアルタイム把握
- 64. VPSで必要となること ? 移動によるADFの切り替え（同じ構造の建 物(階数)の違いなどを埋めることも） – 直前のGPS情報 – Wifi、Beacon、LinkRay – ADFのマージ ? 環境変化によるADFの更新 – ユーザー – サービス事業者
- 65. VPSにお役立ち ? ADFの提供サービスを牛耳る ? ADFの編集サービスもしくはツールの提供 – 店舗内の棚割りとの連動 サービスを作るのは個々に任せ、土台と末端な どで使えるものを提供していくことが普及につ ながる。お金の匂いがします。
- 66. そして近い将来…