フ?リキュア番组连动スマートフォンアフ?リにおける鲍苍颈迟测や认识技术の活用
?
0 likes?414 views
テレビアニメ「プリキュアシリーズ」の番组连动スマートフォンアプリを、ゲームエンジン「鲍苍颈迟测」を用いて自社开発した。鲍苍颈迟测を用いることで、プリキュアの3顿モデルを仮想空间上に自由に配置して一绪に写真を撮ることができるなど、复雑で多彩な表现や演出が可能となった。また、鲍齿の改善や视聴者动向の分析のために、音声认识や画像认识、来店判定を行う颈叠别补肠辞苍认识机能など、様々な认识机能を搭载した。
![10
AssetBundleの利?とダウンロード
? AssetBundle
– サーバ上のUnityアーカイブファイルをダウンロードすることで、
Unityの機能やオブジェクトを拡張する仕組み
番組を視聴したユーザにのみ
プリキュア3Dモデルを配布することが可能
App Store
Google Play
申請
アップロード
インストール
AssetBundle
ダウンロード
AssetBundle形式 fbx形式
[3Dモデル]
[アプリ本体]
※3Dモデル内蔵せず
フォーマット変換
3Dモデル](https://image.slidesharecdn.com/precureunityvuforia-211123021927/85/Unity-10-320.jpg)
![13
iBeaconを?いたチェックイン機能
? iBeacon/BLEとは
– Bluetooth Low Enegy
? 低電?で通信可能なBluetooth規格
– パケット内に含まれるID情報を取得して信号を判別することが可能
– 最近発売のスマートフォンの?部分がBLE対応
? 本アプリにおけるiBeaconチェックイン機能
1. プリティストア梅?本店にiBeacon発信機（?社開発）を設置
2. iBeacon信号をアプリで受信すると、来店ポイントを加算
?距離:50m程度
プリティストア
?阪梅?本店
iBeacon発信機
(?社開発)
[iBeacon信号]
proximity UUID
major version
minor version
UUIDマッチング](https://image.slidesharecdn.com/precureunityvuforia-211123021927/85/Unity-13-320.jpg)
フ?リキュア番组连动スマートフォンアフ?リにおける鲍苍颈迟测や认识技术の活用
- 2. 2 プリキュア応援アプリ ? 放送と通信の連携を?指し、2013年にスタート ? リアルタイム視聴を促すために、 「オンエアを?ないと」動かない機能を実装 ? iOS, Android共に社員による?社開発（2014年） 累計36万ダウンロード 毎週?曜朝に1万?前後の連動企画参加者
- 5. 5 本アプリの技術ポイント ? ゲームエンジンUnityの利? – ?気ゲームの開発にも?いられているゲームエンジン （例 ドラゴンクエスト, 魔法使いと?猫のウィズ – 3DやARなど多彩な表現を?うことが可能 ? ?般的なアプリでは、テキストと画像による表現のみ ? 多くの認識技術を活? – ?声認識による視聴判定 – iBeacon（Bluetooth）を?いたチェックイン機能 – 画像認識によるチェックイン機能
- 6. 6 ゲームエンジンUnity ? 仮想空間（x, y, z）にObjectを配置 – 3Dモデル, 光源, カメラなど ? Scriptに動作を記述し各Objectを制御 – 対象ObjectとScriptを紐付け
- 7. 7 本アプリにおけるUnity構成 ARカメラ 3D空間の無限遠に カメラ映像を投影する 特殊なカメラ キラキラ 3Dモデル出現時に キラキラ光る CoreBehaviourClass ?3Dモデルのダウンロード, 保存 ?3Dモデルの表?制御 ?タッチイベント検知 KiraKiraBehaviourClass ?キラキラの表?制御 ModelActionListennerClass ?3Dモデルの向き, 位置, ?きさの変更 ?写真撮影 3Dモデル ユーザが選択した プリキュア3Dモデル カメラ映像 ARカメラが投影
- 8. 8 本アプリにおけるUnity構成 プリキュア3Dモデル ??発光（Self-SelfIllum） タッチイベントに沿って拡?縮?, 回転 キラキラ ARカメラ 平?オブジェクト（Plane） 無限遠にカメラ映像を投影 3Dモデルの?きさ, 位置, 向きを画?タッチで変更可能
- 10. 10 AssetBundleの利?とダウンロード ? AssetBundle – サーバ上のUnityアーカイブファイルをダウンロードすることで、 Unityの機能やオブジェクトを拡張する仕組み 番組を視聴したユーザにのみ プリキュア3Dモデルを配布することが可能 App Store Google Play 申請 アップロード インストール AssetBundle ダウンロード AssetBundle形式 fbx形式 [3Dモデル] [アプリ本体] ※3Dモデル内蔵せず フォーマット変換 3Dモデル
- 11. 11 認識技術の活? ? ユーザビリティの改善 – ユーザに難しい操作を?わせる必要がない ? 「かざすだけ」で認識 ? 従来のキーワード??やQRコードの読み込みは、 ボタンクリックや読み込みに多くの?間が掛かる ? 放送/Webと実世界との連携が可能に – リアルタイム視聴判定 – チェックイン, イベント参加判定 ? 複雑な制御が可能に
- 12. ? アプリプログラムに?声認識SDKを組み込み – リアルタイムフィンガープリント認識技術 ? 本アプリにおける活? 1. CMSから?成された制御ファイルを元にオンエア時のみ認識画?が開く 2. ?声認識を?い、局識別コードがEXであれば視聴OK 3. 新規プリキュアモデルがアプリにダウンロードされる 12 ?声認識による視聴判定 オンエア ?声 ?声認識 サーバ 局識別コード ?声認識SDK オンエア?声 特徴点マッチング ?声特徴点データ
- 13. 13 iBeaconを?いたチェックイン機能 ? iBeacon/BLEとは – Bluetooth Low Enegy ? 低電?で通信可能なBluetooth規格 – パケット内に含まれるID情報を取得して信号を判別することが可能 – 最近発売のスマートフォンの?部分がBLE対応 ? 本アプリにおけるiBeaconチェックイン機能 1. プリティストア梅?本店にiBeacon発信機（?社開発）を設置 2. iBeacon信号をアプリで受信すると、来店ポイントを加算 ?距離:50m程度 プリティストア ?阪梅?本店 iBeacon発信機 (?社開発) [iBeacon信号] proximity UUID major version minor version UUIDマッチング
- 14. 画像认识を?いたチェックイン机能 ? Vuforia SDK – ライセンス不要で使?可能なARエンジン – Unityプラグインが提供されており、Unity上で動作可能 – 画像の特徴点データを?成し、カメラ画像とマッチング ? 本アプリにおける画像認識 – 認識?画像（ポスター）の特徴点データを?成 – 認識?画像（ポスター）を店内に掲? – ポスターにアプリをかざすと特徴点データとマッチング, 来店ポイントを加算 特徴点データ 画像認識SDK 特徴点マッチング 変換 dat xml カメラ 撮影
- 15. 画像认识を?いたチェックイン机能
- 16. 16 まとめ ? バーチャルリアリティ分野へ?まる注? – VR（仮想現実）, AR（拡張技術）の進展 – ヘッドマウントディスプレイの普及 ? Oculus Rift, Google Glassなど ? センシング技術の発達 – カメラ, マイク, GPS, 加速度センサ, ?拍センサ, ジャイロセンサ – IoT（Internet of Things）, ウェアラブルデバイスの普及 16 Unity+Vuforia のノウハウ, 知?を蓄積 センサを通じて視聴者と繋がる アプリや番組演出で利?する価値?