狠狠撸

狠狠撸Share a Scribd company logo
@ash_yanagisawa
AR/スマートグラスアプリ
開発や展示における苦労と今後について
#mercariAWE
特別講師
XR Research Engineer
前職
栁澤 慧 @ash_yanagisawa
at
at
at
Mercari Lensのβ版を公開!
Mercari Lens BETA v.0.1.2
動画出典 (YouTube) : https://youtu.be/mQ44DZBaumE
AR/スマートグラスアプリ
1. 開発について
● Google開発者サービスが利用できない
● Androidのバージョンが古い
● カメラを搭載している場合は、常に動画を録画できてしまう
AR/スマートグラスアプリの開発で気をつけるべき点
● Google開発者サービスが利用できない
● Androidのバージョンが古い
● カメラを搭載している場合は、常に動画を録画できてしまう
AR/スマートグラスアプリの開発で気をつけるべき点
画像検索の仕組み 1/5 - 検索したい対象物を人差し指で指す
スニーカー
指差し
画像検索の仕組み 2/5 - TensorFlow Liteでカテゴリーを検出
スニーカー
画像検索の仕組み 3/5 - 指に最も近い物体の検出领域を切り取る
スニーカー
+
写真検索API
カテゴリー
画像
アップロード
画像検索の仕組み 4/5 - 画像とカテゴリーの情报を元に物体认识
画像検索の仕組み 5/5 - 类似商品の名称と価格を表示
AR/スマートグラスアプリ
2. 展示について
● Wi-Fiの対応帯域幅が2.4GHzのみの場合、動作しない可
能性がある
● Bluetoothも2.4GHzなので、同様の現象が起こる
● Wi-Fiテザリングを使用する場合は対象端末と物理的な距
離を近づける
● 長時間の運用に耐えられない
● カメラのプレビューを共有できるアプリがないので、展示の
見栄えが悪い
AR/スマートグラスアプリの展示の際に気をつけるべき点
● Wi-Fiの対応帯域幅が2.4GHzのみの場合、動作しない可
能性がある
● Bluetoothも2.4GHzなので、同様の現象が起こる
● Wi-Fiテザリングを使用する場合は対象端末と物理的な距
離を近づける
● 長時間の運用に耐えられない
● カメラのプレビューを共有できるアプリがないので、展示の
見栄えが悪い
AR/スマートグラスアプリの展示の際に気をつけるべき点
スマートグラスの画面共有 - Vysor
HoloLensの画面共有 - Device Portal
動画出典 (YouTube) : https://youtu.be/tb2na8mwpDk?t=16
AR/スマートグラスアプリ
3. 今後について
● 端末内で動作するカテゴリ認識の精度を向上
● 物体認識の精度を向上
● ユーザーに負担のないログイン機能を実装
● 画像検索時に人の顔が写っていた場合、顔を塗りつぶして
からアップロード
● 音声認識に対応
今後のMercari Lensについて
● 端末内で動作するカテゴリ認識の精度を向上
● 物体認識の精度を向上
● ユーザーに負担のないログイン機能を実装
● 画像検索時に人の顔が写っていた場合、顔を塗りつぶして
からアップロード
● 音声認識に対応
今後のMercari Lensについて
Google I/O 2019
動画出典 (YouTube) : https://youtu.be/uBP9K2QJSSs?t=224
"It's no longer about being
device ?rst, it's about
putting the human ?rst,
and it includes all the
devices in their lives."
Microsoft CEO - Satya Nadella said,
記事出典 : https://www.cnet.com/news/microsoft-hololens-2-announced-for-3500-available-to-preorder-now-ships-later-this-year/
Hey Google, これいくら?
画像引用 (YouTube) : https://youtu.be/F5o1RSVSLSc
Vuzix Blade
動画出典 (YouTube) : https://youtu.be/V-OxzjsB2s0?t=16
RealWear HMT-1
動画出典 (YouTube) : https://youtu.be/kGBgBFkQuFE?t=175
重大発表
画像引用 (YouTube) : https://youtu.be/F5o1RSVSLSc
AR/スマートグラスアプリ 開発や展示における苦労と今後について
nreal lightに最適化した
Mercari Lensを開発中!
画像出典 : https://biz.kddi.com/5g/summit2019/

More Related Content

What's hot (19)

20160529 Pepper SDK for Android Studio
20160529 Pepper SDK for Android Studio 20160529 Pepper SDK for Android Studio
20160529 Pepper SDK for Android Studio
Kenichi Ohwada
?
スライドシェア)モニプラGlobal sales資料 ver.1.1
スライドシェア)モニプラGlobal sales資料 ver.1.1スライドシェア)モニプラGlobal sales資料 ver.1.1
スライドシェア)モニプラGlobal sales資料 ver.1.1
AAsolution
?
どうすれば小さなチームでも大きな成果を出せるのか(2013/06)
どうすれば小さなチームでも大きな成果を出せるのか(2013/06)どうすれば小さなチームでも大きな成果を出せるのか(2013/06)
どうすれば小さなチームでも大きな成果を出せるのか(2013/06)
Yoshihito Kuranuki
?
20161014 vrarmr勉強会発表資料 slideshare
20161014 vrarmr勉強会発表資料 slideshare20161014 vrarmr勉強会発表資料 slideshare
20161014 vrarmr勉強会発表資料 slideshare
WheetTweet
?
Android Studio 2.2の紹介@Google I/O 2016東京報告会
Android Studio 2.2の紹介@Google I/O 2016東京報告会Android Studio 2.2の紹介@Google I/O 2016東京報告会
Android Studio 2.2の紹介@Google I/O 2016東京報告会
mokelab
?
2011年5月28日 Android勉強会プレゼン資料
2011年5月28日 Android勉強会プレゼン資料2011年5月28日 Android勉強会プレゼン資料
2011年5月28日 Android勉強会プレゼン資料
Eiichi Yoshikawa
?
20161125 Unity-Android連携の発表資料
20161125 Unity-Android連携の発表資料20161125 Unity-Android連携の発表資料
20161125 Unity-Android連携の発表資料
WheetTweet
?
デブサミ 2013 日本App Inventorユーサ?ー会
デブサミ 2013 日本App Inventorユーサ?ー会デブサミ 2013 日本App Inventorユーサ?ー会
デブサミ 2013 日本App Inventorユーサ?ー会
Takeaki Tada
?
What's new in Android N at Google I/O extended in Fukuoka
What's new in Android N at Google I/O extended in FukuokaWhat's new in Android N at Google I/O extended in Fukuoka
What's new in Android N at Google I/O extended in Fukuoka
Yuki Anzai
?
インフラジスティックス Wpf コントロールを用いたリッチ アプリケーション開発
インフラジスティックス Wpf コントロールを用いたリッチ アプリケーション開発インフラジスティックス Wpf コントロールを用いたリッチ アプリケーション開発
インフラジスティックス Wpf コントロールを用いたリッチ アプリケーション開発
Satoru Yamaguchi
?
20170804 Builderscon Androidアプリ開発アンチパターン
20170804 Builderscon Androidアプリ開発アンチパターン20170804 Builderscon Androidアプリ開発アンチパターン
20170804 Builderscon Androidアプリ開発アンチパターン
mokelab
?
Whats's new in Android Studio at Google I/O extended in Fukuoka
Whats's new in Android Studio at Google I/O extended in FukuokaWhats's new in Android Studio at Google I/O extended in Fukuoka
Whats's new in Android Studio at Google I/O extended in Fukuoka
Yuki Anzai
?
Pepper アプリデベロッパーのための NAO アプリ開発講座1
Pepper アプリデベロッパーのための NAO アプリ開発講座1Pepper アプリデベロッパーのための NAO アプリ開発講座1
Pepper アプリデベロッパーのための NAO アプリ開発講座1
Takuji Kawata
?
Voice interaction api for android m
Voice interaction api for android mVoice interaction api for android m
Voice interaction api for android m
Atsuko Fukui
?
Swift playgroundsて?アフ?リを作る
Swift playgroundsて?アフ?リを作るSwift playgroundsて?アフ?リを作る
Swift playgroundsて?アフ?リを作る
FromF
?
Infragistics Ultimate 2019 Vol.1最新機能
Infragistics Ultimate 2019 Vol.1最新機能Infragistics Ultimate 2019 Vol.1最新機能
Infragistics Ultimate 2019 Vol.1最新機能
インフラジスティックス?ジャパン株式会社
?
础苍诲谤辞颈诲リリース作业の効率化(2)
础苍诲谤辞颈诲リリース作业の効率化(2)础苍诲谤辞颈诲リリース作业の効率化(2)
础苍诲谤辞颈诲リリース作业の効率化(2)
Kenichi Kambara
?
20160529 Pepper SDK for Android Studio
20160529 Pepper SDK for Android Studio 20160529 Pepper SDK for Android Studio
20160529 Pepper SDK for Android Studio
Kenichi Ohwada
?
スライドシェア)モニプラGlobal sales資料 ver.1.1
スライドシェア)モニプラGlobal sales資料 ver.1.1スライドシェア)モニプラGlobal sales資料 ver.1.1
スライドシェア)モニプラGlobal sales資料 ver.1.1
AAsolution
?
どうすれば小さなチームでも大きな成果を出せるのか(2013/06)
どうすれば小さなチームでも大きな成果を出せるのか(2013/06)どうすれば小さなチームでも大きな成果を出せるのか(2013/06)
どうすれば小さなチームでも大きな成果を出せるのか(2013/06)
Yoshihito Kuranuki
?
20161014 vrarmr勉強会発表資料 slideshare
20161014 vrarmr勉強会発表資料 slideshare20161014 vrarmr勉強会発表資料 slideshare
20161014 vrarmr勉強会発表資料 slideshare
WheetTweet
?
Android Studio 2.2の紹介@Google I/O 2016東京報告会
Android Studio 2.2の紹介@Google I/O 2016東京報告会Android Studio 2.2の紹介@Google I/O 2016東京報告会
Android Studio 2.2の紹介@Google I/O 2016東京報告会
mokelab
?
2011年5月28日 Android勉強会プレゼン資料
2011年5月28日 Android勉強会プレゼン資料2011年5月28日 Android勉強会プレゼン資料
2011年5月28日 Android勉強会プレゼン資料
Eiichi Yoshikawa
?
20161125 Unity-Android連携の発表資料
20161125 Unity-Android連携の発表資料20161125 Unity-Android連携の発表資料
20161125 Unity-Android連携の発表資料
WheetTweet
?
デブサミ 2013 日本App Inventorユーサ?ー会
デブサミ 2013 日本App Inventorユーサ?ー会デブサミ 2013 日本App Inventorユーサ?ー会
デブサミ 2013 日本App Inventorユーサ?ー会
Takeaki Tada
?
What's new in Android N at Google I/O extended in Fukuoka
What's new in Android N at Google I/O extended in FukuokaWhat's new in Android N at Google I/O extended in Fukuoka
What's new in Android N at Google I/O extended in Fukuoka
Yuki Anzai
?
インフラジスティックス Wpf コントロールを用いたリッチ アプリケーション開発
インフラジスティックス Wpf コントロールを用いたリッチ アプリケーション開発インフラジスティックス Wpf コントロールを用いたリッチ アプリケーション開発
インフラジスティックス Wpf コントロールを用いたリッチ アプリケーション開発
Satoru Yamaguchi
?
20170804 Builderscon Androidアプリ開発アンチパターン
20170804 Builderscon Androidアプリ開発アンチパターン20170804 Builderscon Androidアプリ開発アンチパターン
20170804 Builderscon Androidアプリ開発アンチパターン
mokelab
?
Whats's new in Android Studio at Google I/O extended in Fukuoka
Whats's new in Android Studio at Google I/O extended in FukuokaWhats's new in Android Studio at Google I/O extended in Fukuoka
Whats's new in Android Studio at Google I/O extended in Fukuoka
Yuki Anzai
?
Pepper アプリデベロッパーのための NAO アプリ開発講座1
Pepper アプリデベロッパーのための NAO アプリ開発講座1Pepper アプリデベロッパーのための NAO アプリ開発講座1
Pepper アプリデベロッパーのための NAO アプリ開発講座1
Takuji Kawata
?
Voice interaction api for android m
Voice interaction api for android mVoice interaction api for android m
Voice interaction api for android m
Atsuko Fukui
?
Swift playgroundsて?アフ?リを作る
Swift playgroundsて?アフ?リを作るSwift playgroundsて?アフ?リを作る
Swift playgroundsて?アフ?リを作る
FromF
?
础苍诲谤辞颈诲リリース作业の効率化(2)
础苍诲谤辞颈诲リリース作业の効率化(2)础苍诲谤辞颈诲リリース作业の効率化(2)
础苍诲谤辞颈诲リリース作业の効率化(2)
Kenichi Kambara
?

Similar to AR/スマートグラスアプリ 開発や展示における苦労と今後について (20)

ユーザーの心に刺ささるためには - UX実践編 -
ユーザーの心に刺ささるためには - UX実践編 -ユーザーの心に刺ささるためには - UX実践編 -
ユーザーの心に刺ささるためには - UX実践編 -
Midori Hirose
?
鲍贰4モバイルでノンゲームコンテンツ
鲍贰4モバイルでノンゲームコンテンツ鲍贰4モバイルでノンゲームコンテンツ
鲍贰4モバイルでノンゲームコンテンツ
エピック?ゲームズ?ジャパン Epic Games Japan
?
『修羅道』制作事例 モバイルハイエンドグラフィックゲーム実現まで
『修羅道』制作事例 モバイルハイエンドグラフィックゲーム実現まで『修羅道』制作事例 モバイルハイエンドグラフィックゲーム実現まで
『修羅道』制作事例 モバイルハイエンドグラフィックゲーム実現まで
エピック?ゲームズ?ジャパン Epic Games Japan
?
Trend and use case 20120607a with Ar (Augmented reality) -Ar(拡張現実) の動向と活用事例
Trend and use case 20120607a with Ar (Augmented reality) -Ar(拡張現実) の動向と活用事例Trend and use case 20120607a with Ar (Augmented reality) -Ar(拡張現実) の動向と活用事例
Trend and use case 20120607a with Ar (Augmented reality) -Ar(拡張現実) の動向と活用事例
Etsuji Kameyama
?
内蔵化、モバイル化に向かう顿别辫迟丑センサー
内蔵化、モバイル化に向かう顿别辫迟丑センサー内蔵化、モバイル化に向かう顿别辫迟丑センサー
内蔵化、モバイル化に向かう顿别辫迟丑センサー
Kaoru NAKAMURA
?
惭驰蚕尝翱?あなたの拡张クローゼット?
惭驰蚕尝翱?あなたの拡张クローゼット?惭驰蚕尝翱?あなたの拡张クローゼット?
惭驰蚕尝翱?あなたの拡张クローゼット?
Ryota Aoki
?
第5回业开中心会议
第5回业开中心会议第5回业开中心会议
第5回业开中心会议
Kaoru NAKAMURA
?
础诲辞产别贰诲驳别系アプリ触ってみた
础诲辞产别贰诲驳别系アプリ触ってみた础诲辞产别贰诲驳别系アプリ触ってみた
础诲辞产别贰诲驳别系アプリ触ってみた
Takayuki Yagi
?
2019年版 Infragistics Ultimate UI for WPF概要
2019年版 Infragistics Ultimate UI for WPF概要2019年版 Infragistics Ultimate UI for WPF概要
2019年版 Infragistics Ultimate UI for WPF概要
インフラジスティックス?ジャパン株式会社
?
蚕迟5のセンサー础笔滨を使ってみたい
蚕迟5のセンサー础笔滨を使ってみたい蚕迟5のセンサー础笔滨を使ってみたい
蚕迟5のセンサー础笔滨を使ってみたい
You&I
?
ノンプログラミングで始める AR 開発入門
ノンプログラミングで始める AR 開発入門ノンプログラミングで始める AR 開発入門
ノンプログラミングで始める AR 開発入門
Takashi Yoshinaga
?
【15-e-7】Kinectから始まったスタートアップ #devsumi
【15-e-7】Kinectから始まったスタートアップ #devsumi【15-e-7】Kinectから始まったスタートアップ #devsumi
【15-e-7】Kinectから始まったスタートアップ #devsumi
Kaoru NAKAMURA
?
20120422 日本androidの会 横浜支部 smartwatch開発
20120422 日本androidの会 横浜支部 smartwatch開発20120422 日本androidの会 横浜支部 smartwatch開発
20120422 日本androidの会 横浜支部 smartwatch開発
ta9mar
?
デブサミ2014応募用スライド
デブサミ2014応募用スライドデブサミ2014応募用スライド
デブサミ2014応募用スライド
Kaoru NAKAMURA
?
碍颁骋ビジネスインターンシップ 実习报告
碍颁骋ビジネスインターンシップ 実习报告碍颁骋ビジネスインターンシップ 実习报告
碍颁骋ビジネスインターンシップ 実习报告
ripper0217
?
Devsumi2013 15-C-1 実践!スマホアプリのマネタイズ!! ~マーケット把握術と iPhone&Androidプログラミングテクニック~
Devsumi2013 15-C-1 実践!スマホアプリのマネタイズ!! ~マーケット把握術と iPhone&Androidプログラミングテクニック~Devsumi2013 15-C-1 実践!スマホアプリのマネタイズ!! ~マーケット把握術と iPhone&Androidプログラミングテクニック~
Devsumi2013 15-C-1 実践!スマホアプリのマネタイズ!! ~マーケット把握術と iPhone&Androidプログラミングテクニック~
Masahiro Hidaka
?
Dev(ice)love デバイス祭り
Dev(ice)love デバイス祭りDev(ice)love デバイス祭り
Dev(ice)love デバイス祭り
Kaoru NAKAMURA
?
音声によるデバイス奥别产础笔滨の操作
音声によるデバイス奥别产础笔滨の操作音声によるデバイス奥别产础笔滨の操作
音声によるデバイス奥别产础笔滨の操作
Device WebAPI Consortium
?
Visual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーション
Visual Studio OnlineとUnityを使ったバージョン管理と継続的インテグレーションVisual Studio OnlineとUnityを使ったバージョン管理と継続的インテグレーション
Visual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーション
Kaoru NAKAMURA
?
Visual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーション
Visual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーションVisual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーション
Visual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーション
Kaoru NAKAMURA
?
ユーザーの心に刺ささるためには - UX実践編 -
ユーザーの心に刺ささるためには - UX実践編 -ユーザーの心に刺ささるためには - UX実践編 -
ユーザーの心に刺ささるためには - UX実践編 -
Midori Hirose
?
Trend and use case 20120607a with Ar (Augmented reality) -Ar(拡張現実) の動向と活用事例
Trend and use case 20120607a with Ar (Augmented reality) -Ar(拡張現実) の動向と活用事例Trend and use case 20120607a with Ar (Augmented reality) -Ar(拡張現実) の動向と活用事例
Trend and use case 20120607a with Ar (Augmented reality) -Ar(拡張現実) の動向と活用事例
Etsuji Kameyama
?
内蔵化、モバイル化に向かう顿别辫迟丑センサー
内蔵化、モバイル化に向かう顿别辫迟丑センサー内蔵化、モバイル化に向かう顿别辫迟丑センサー
内蔵化、モバイル化に向かう顿别辫迟丑センサー
Kaoru NAKAMURA
?
惭驰蚕尝翱?あなたの拡张クローゼット?
惭驰蚕尝翱?あなたの拡张クローゼット?惭驰蚕尝翱?あなたの拡张クローゼット?
惭驰蚕尝翱?あなたの拡张クローゼット?
Ryota Aoki
?
第5回业开中心会议
第5回业开中心会议第5回业开中心会议
第5回业开中心会议
Kaoru NAKAMURA
?
础诲辞产别贰诲驳别系アプリ触ってみた
础诲辞产别贰诲驳别系アプリ触ってみた础诲辞产别贰诲驳别系アプリ触ってみた
础诲辞产别贰诲驳别系アプリ触ってみた
Takayuki Yagi
?
蚕迟5のセンサー础笔滨を使ってみたい
蚕迟5のセンサー础笔滨を使ってみたい蚕迟5のセンサー础笔滨を使ってみたい
蚕迟5のセンサー础笔滨を使ってみたい
You&I
?
ノンプログラミングで始める AR 開発入門
ノンプログラミングで始める AR 開発入門ノンプログラミングで始める AR 開発入門
ノンプログラミングで始める AR 開発入門
Takashi Yoshinaga
?
【15-e-7】Kinectから始まったスタートアップ #devsumi
【15-e-7】Kinectから始まったスタートアップ #devsumi【15-e-7】Kinectから始まったスタートアップ #devsumi
【15-e-7】Kinectから始まったスタートアップ #devsumi
Kaoru NAKAMURA
?
20120422 日本androidの会 横浜支部 smartwatch開発
20120422 日本androidの会 横浜支部 smartwatch開発20120422 日本androidの会 横浜支部 smartwatch開発
20120422 日本androidの会 横浜支部 smartwatch開発
ta9mar
?
デブサミ2014応募用スライド
デブサミ2014応募用スライドデブサミ2014応募用スライド
デブサミ2014応募用スライド
Kaoru NAKAMURA
?
碍颁骋ビジネスインターンシップ 実习报告
碍颁骋ビジネスインターンシップ 実习报告碍颁骋ビジネスインターンシップ 実习报告
碍颁骋ビジネスインターンシップ 実习报告
ripper0217
?
Devsumi2013 15-C-1 実践!スマホアプリのマネタイズ!! ~マーケット把握術と iPhone&Androidプログラミングテクニック~
Devsumi2013 15-C-1 実践!スマホアプリのマネタイズ!! ~マーケット把握術と iPhone&Androidプログラミングテクニック~Devsumi2013 15-C-1 実践!スマホアプリのマネタイズ!! ~マーケット把握術と iPhone&Androidプログラミングテクニック~
Devsumi2013 15-C-1 実践!スマホアプリのマネタイズ!! ~マーケット把握術と iPhone&Androidプログラミングテクニック~
Masahiro Hidaka
?
Dev(ice)love デバイス祭り
Dev(ice)love デバイス祭りDev(ice)love デバイス祭り
Dev(ice)love デバイス祭り
Kaoru NAKAMURA
?
音声によるデバイス奥别产础笔滨の操作
音声によるデバイス奥别产础笔滨の操作音声によるデバイス奥别产础笔滨の操作
音声によるデバイス奥别产础笔滨の操作
Device WebAPI Consortium
?
Visual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーション
Visual Studio OnlineとUnityを使ったバージョン管理と継続的インテグレーションVisual Studio OnlineとUnityを使ったバージョン管理と継続的インテグレーション
Visual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーション
Kaoru NAKAMURA
?
Visual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーション
Visual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーションVisual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーション
Visual Studio OnlineとUnityを使った バージョン管理と 継続的インテグレーション
Kaoru NAKAMURA
?

AR/スマートグラスアプリ 開発や展示における苦労と今後について