AndroidでARの夢を再び ?ARCoreの導入から応用まで
?
4 likes?3,799 views
AndroidにAR体験をもたらすARCoreはGoogle I/O 2018で1.2がリリースされて対応端末の数と機能が増えました。このセッションでは新機能の解説と、ARCoreを使ってどのように現実を拡張することができるのか、JavaでSceneformを使った場合とUnityを使った場合のそれぞれで実際にコードを見ながら、サンプルを越えたその一歩先に進むための話として構成しました。（2018年6月9日のABC 2018SのAR/VRトラックのセッションで話した際のスライドです）
![Android Studioに
プラグインをインストールする
? Preferences→Plugins
[Browse repositories]を押し
て
? Google Sceneform Tools
(Beta)をインストール](https://image.slidesharecdn.com/abc2018sarcore-180610092658/85/Android-AR-ARCore-28-320.jpg)
AndroidでARの夢を再び ?ARCoreの導入から応用まで
- 2. @ken1_taka ktaka 株式会社カブク / ソフトウェアエンジニア 高橋憲一 ? 携帯向け3Dグラフィクスエンジンや、昔あっ た某ARアプリの開発に携わる ? 現在はカブクで3Dグラフィクスのレンダリン グおよび解析エンジンの実装を担当 ? 個人的活動としてAR&VRの実験をする傍ら翻 訳本を出したり、技術系雑誌への解説記事を寄 稿するなどしている
- 4. 今日の内容 ? 础搁颁辞谤别についておさらい ? 基本機能 ? ARCore 1.2の新機能 ? 開発方法 ? Java (Sceneform) ? Unity
- 6. ARCoreとは ? AndroidでARアプリを実現するためのGoogle純正ライブラリ ? Android スケールで広く普及を目指す
- 7. 础搁颁辞谤别の基本3机能
- 8. 1. Motion tracking （モーショントラッキング） https://developers.google.com/ar/discover/concepts CC BY 3.0
- 10. 2. Environmental understanding（環境認識） https://developers.google.com/ar/discover/concepts CC BY 3.0
- 12. Oriented Points （方向を持っている点） ? 平面として検出できるのは水 平および垂直の面 ? ただし、特徴点として検出し た点の方向を取得することは できる ? (特徴点が密集しているような 場所だと検出しやすい）
- 17. Cloud Anchors ? 複数端末で同じAR空間を共有 ? 1つの端末からクラウドを通じ て他の端末に共有 ? Anchorオブジェクト ? 周辺の特徴点 ? AndroidだけでなくiOSとも共 有 ? iOS用のSDKもある
- 18. Just a Line ? Google製のAR空間に落書き できるアプリ ? Android版とiOS版がある ? Nearbyでペアリングして2台 でAR空間を共有 ? ソースは公開されている https://github.com/googlecreativelab/justaline-android
- 19. Just a Line ? Google製のAR空間に落書き できるアプリ ? Android版とiOS版がある ? Nearbyでペアリングして2台 でAR空間を共有 ? ソースは公開されている https://github.com/googlecreativelab/justaline-android
- 20. Cloud Anchorsの大事なこと ? 面倒を見てくれるのは位置と向きのみ ? それを元に開発者が機能を実装する必要あり ? 共有するAnchorの情報はFirebaseやNearby等を使っ て渡す
- 22. 対応端末 ? 1.2でだいぶ増えました ? Xperia XZ1 ? Galaxy A5, A7, A8, Note8, S7, S8, S9 ? LG G6, Huawei P20...等 https://developers.google.com/ar/discover/supported-devices
- 23. 開発方法 Java, C++(NDK), Unity, Unreal Engine, Webの何れでも可能
- 25. Sceneformとは ? 3Dモデルのインポートツール、ARシーンへの組み込み が簡単にできるライブラリ ? Android 厂迟耻诲颈辞で闯补惫补で开発できます
- 27. 最も基本的な手顺
- 28. Android Studioに プラグインをインストールする ? Preferences→Plugins [Browse repositories]を押し て ? Google Sceneform Tools (Beta)をインストール
- 29. Polyから3Dモデルを ダウンロードする ? https://poly.google.com/ か ら3Dモデルをダウンロード ? 主にARとVRでの活用を目的 とした3Dモデル共有サイト ? CC-BYで使用できるものが多 い
- 30. 3Dモデルをプロジェクトに インポート-1 ? ダウンロードした ? xxx.png ? xxx.mtl ? xxx.obj ? をSampledataにコピー
- 32. 3Dモデルをプロジェクトに インポート-3 ? xxx.sfa, xxx.sfb というファイ ルが作成される ? 3Dモデルのプレビューが表示 される ? sfbの方はassetsの下に置かれ る
- 35. Sceneformの構成要素 ? ArFragment ? Renderable ? ModelRenderable ? ViewRenderable
- 36. ArFragment ? 端末を動かすことを促すUI? ? 認識平面を示すUI? ? 平面をタップした際のlistner? ? 平面に影を落とす?
- 41. 例1：AR空間でペットを飼う ? 必要な要素 ? アニメーションする3Dキャ ラ ? 物理エンジン ? 弾むボール ? ボールを跳ね返す床面 ? 注目してほしいものに向ける
- 44. 物理法則に沿った振る舞いをす るボール ? Sphere Collider ? Bouncy ? Rigidbody ? Mass ? Use Gravity
- 45. ボールを跳ね返す平面 ? Mesh Renderer ? MaterialにSDKにある PlaneGridを設定
- 50. 3Dオブジェクトとカメラ の位置関係 ① 猫の現在位置 ② カメラの現在位置 ③ 猫のデフォルト方向のベクト ル（X, Y, Zで表すと 0, 0, -1） ④ 猫からカメラへの方向のベク トル ⑤ カメラの方に向かせるための 回転
- 51. オブジェクトをカメラの方向に 向ける際の回転 Vector3 GetLookVector () { ? ? Vector3 lookVector = ? ? Camera.main.transform.position - hitTransform.transform.position; ? ? lookVector.y = 0.0f; // Y軸の差分は無視する ? ? lookVector.Normalize (); ? ? return lookVector; } hitTransform.transform.rotation = ? ? ? ? ? ? ? ? ? ? Quaternion.LookRotation (GetLookVector());
- 53. 追加するシェーダーのプロパティ ? _ConstructY ? クリッピングするY座標の値 ? _ConstructGap ? 積層していく際に色を変える境 界の高さ ? _ConstructColor ? 積層していく際の境界の色 詳細は https://www.kabuku.co.jp/developers/ar3d_print
- 54. シェーダーのコード-1 if(IN.worldPos.y > _ConstructY + _ConstructGap) { discard; } 描画されないようクリッピングする処理です。 ピクセルのワールド位置のY座標の値が「クリッピングするY座標 + 境 界の高さ」より大きい（クリッピングする位置より高い位置にある）場 合、discardして描画しないようにします。
- 55. シェーダーのコード-2 if(IN.worldPos.y < _ConstructY) { ?xed4 c = tex2D(_MainTex, IN.uv_MainTex); o.Albedo = c.rgb; o.Alpha = c.a; } else { o.Albedo = _ConstructColor.rgb; o.Alpha = _ConstructColor.a; } ピクセルのワールド位置のY座標の値がクリッピングするY座標より小さい場 合、通常描画の対象としてテクスチャからの色を反映します。Y座標の値以上 の場合、境界部分の描画対象として境界の色を反映します。