Xamarin.Forms with VUI（JXUG 2019/8/31）
1 like981 views
JXUGC #25 最新情報アップデート＆LT 大会 での発表資料です https://jxug.connpass.com/event/138707/
![[REV UP] あなたならどう使う？最新Azureレシピ for LINE Platform](https://cdn.slidesharecdn.com/ss_thumbnails/azureforlpfrevup2020-201114074337-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to Xamarin.Forms with VUI（JXUG 2019/8/31） (20)
More from 拓将 平林 (13)
![[Ignite The Tour Osaka] OPS20：インシデントに対応する (Respomding to incidents)](https://cdn.slidesharecdn.com/ss_thumbnails/responding-to-incidents-ignitethetourosaka-ops20-200130150037-thumbnail.jpg?width=560&fit=bounds)
![[JAZUG 7周年総会]社内でIoT＆AIな農業系チャットボット開発講座をやってみて](https://cdn.slidesharecdn.com/ss_thumbnails/jazug7iotai-170909021627-thumbnail.jpg?width=560&fit=bounds)
Xamarin.Forms with VUI（JXUG 2019/8/31）
- 1. モバイルのVUI対応と Xamarin?Azure?C# 平林 拓将（ひらりん） himarin269 / himanago JXUGC #25 最新情報アップデート＆LT 大会 2019/8/31
- 2. 自己紹介 ? Name ? 平林 拓将（ひらりん） ? Work ? 研修講師 / 社内システム開発 ? Azure / Xamarin / LINE Bot ? Like ? C# ＆ Microsoft Azure ? LINE関連API ? スマートスピーカー＆VUI ? Social ? Twitter：@himarin269 ? GitHub：himanago ? Blog：http://himanago.hatenablog.com/
- 4. スマートスピーカーとは スマート スピーカー 賢い 音声再生デバイス AIアシスタント ＝ ＝ 内蔵されたマイク?スピーカーを通して AIアシスタントとの音声による対話から さまざまなことを実現するデバイスのこと ?
- 5. Voice User Interface（VUI） ? 「声」による対話形式での操作 アレクサ、 いま何時？ 18時50分です。
- 8. これを実現するには ? Androidユーザー向け ? アプリは変えない ? Actions on Google（AIアシスタント用の拡張スキル）を作る ? iOSユーザー向け ? アプリを SiriKit に対応させる 直接呼べるカスタムスキルが作成できる 直接呼べるカスタムスキルが作成できない
- 9. 一般的なアシスタントのカスタムスキル ? スキルの呼び出し（起動リクエスト） ユーザー デバイス アシスタント バックエンド PG DB or or “星占い” を開いて 該当スキルを探す 起動時の応答内容を返す 星座を 教えてください
- 10. 一般的なアシスタントのカスタムスキル ? 発話の意図に合わせた処理（インテントリクエスト） ユーザー デバイス アシスタント バックエンド PG DB or or やぎ座を占って 発話内容を解析 解析された意図に沿う 処理と応答 大吉です
- 12. スキル開発の流れ ① 各プラットフォームで対話モデルを作成する ASK （Alexa Skills Kit） Dialogflow CEK （Clova Extensions Kit） Amazon Alexa Google Assistant LINE Clova 理解してほしいIntentごとにサンプル発話をいくつか登録しビルド?テストする
- 14. 一方、SiriKit は… ? 限られたドメインの操作のみ対応（自分で自然言語モデルを作れない） ドメインの名前 できること (作ることができる Intent) VoIP Calling 通話の開始、通話履歴の検索 Massaging メッセージの送信、受信メッセージの検索 Payments ユーザー間の支払い、請求書の支払い Lists and Notes メモの作成?検索、タスクの作成?検索 Visual Codes 連絡先と支払い情報の QR コードの表示 Photos 写真の検索と表示 Workouts フィットネスのためのルーチンワークの開始?終了?管理 Ride Booking 乗車とステータスの報告 Car Commands 車両のドアロックの管理、車両の状態の取得 CarPlay 車両の CarPlay システムとの連係 Restaurant Reservations レストランの予約の作成と管理 https://dev.classmethod.jp/smartphone/iphone/ios-11-siri-kit/
- 15. SiriKit の２つのしくみ ? Intents ? アプリ側にインテントに対応する処理を用意しておく ? IntentsUI ? Siri の応答結果の見た目をカスタマイズ
- 16. Xamarinでやるなら ? SiriKit 対応のコードを追加 ? データ保存などのバックエンド処理を モバイル用とActions on Google用で共通化 ? 全体でモデルクラスを共有 すべて C#?Azure で統一すれば大部分が共有化できる？
- 17. Shell テンプレートで試してみた ? サンプルつくりました ? Shellのテンプレートをメモアプリと見立ててそのままVUI対応しようとしてみた https://github.com/himanago/xamarin-with-vui-sample ? バックエンドについて ? モバイル用のバックエンドはテンプレートで作られる（ASP.NET CoreのWeb API） ? ActionのバックエンドはAzure Functionsを使用し、上記APIを呼ぶ ? 本当は認証?アカウント連携、データ永続化が必要（テンプレートなのでない） ? ついでに ? スマートスピーカーでも使えるように他プラットフォームにも対応 ? Googleアシスタント/Alexa/Clova/Siriの４アシスタント対応は世界初！？ ? 残念ながら… ? SiriKit を試すには Developer Program の登録が必要 https://developer.apple.com/support/app-capabilities/
- 22. まとめ ? モバイルのVUI対応も C# ＆ Azure でクロスプラットフォーム 対応していける ? AndroidならActions on GoogleでOK ? iOS/Siriでは現状アプリに統合する必要がある（SiriKit） ? ちなみにSiriショートカットで「OK Google」を登録できる ? Xamarin.FormsのアプリをVUI対応するには DependencyService＋Xamarin.Essentials＋LUISで実現可能
- 23. 宣伝 【す22D】Azure＋AIアシスタント?スマスピ本（単著） ? Logic Appsでの完全ノンコーディング開発法 ? Azure Functionsでの応用的なクロスプラットフォーム対応 ? 今日の話（Xamarin.Forms＋VUI）もちゃんとまとめられたら入れる予定 【す23D】LINE API Expert本（共著） ? C# 新SDK＋AzureでClovaスキルを作る方法について書きました（裏技付き） ? 他にも多くのLINE APIについて基本から応用まで360ページ超で解説 9/22(土)の技術書典7で本を出します！（2冊） https://techbookfest.org/event/tbf07/circle/5069404383477760 https://techbookfest.org/event/tbf07/circle/5677593911099392