FPV LEGO MINDSTORM EV3 (Prototype)
- 1. .NETラボ 勉強会 2016年4月 FPV LEGO MINDSTORM EV3 2016/04/23 初音玲
- 2. .NETラボ 勉強会 2016年4月 自己紹介 ?初音 玲 ?仕事略歴 ? システム企画 ? インフラ構築 ? 業務アプリ構築 ? DB設計、構築、各種支援 ?略歴 ? Microsoft MVP (2008/04-2017/03) ? Oracle ACE (2008/04-:日本で２人目) 2
- 3. .NETラボ 勉強会 2016年4月 本日のシステム構成 ?LEGO MINDSTORM EV3 ?Raspberry PI 2 Freetel KATANA 01 ?Freetel KATANA 02 3
- 9. .NETラボ 勉強会 2016年4月 コンパス連携 ?方位測定 9 this.MyCompass = Compass.GetDefault(); private async void MyCompass_ReadingChanged(Compass sender, CompassReadingChangedEventArgs e) { await CoreApplication.MainView.CoreWindow.Dispatcher.RunAsync( CoreDispatcherPriority.Normal, new DispatchedHandler(() => { var reading = e.Reading; this.HeadingMagneticNorth = reading.HeadingMagneticNorth; this.HeadingAccuracy = reading.HeadingAccuracy.Text(); })); }
- 11. .NETラボ 勉強会 2016年4月 コンパス連携 ?方位差計算 ? (0?360跨ぎは未考慮)→動かしてみたら実はすごく重要 11 var ceilHeading = Math.Ceiling(headingMagneticNorth); var ceilRequest = Math.Ceiling(requestMagneticNorth); if (ceilHeading < ceilRequest - 5) { // 東方向に回転 var step = (uint)Math.Ceiling((ceilRequest - ceilHeading) / 180); } else if (ceilHeading > ceilRequest - 5) { // 西方向に回転 var step = (uint)Math.Ceiling((ceilHeading - ceilRequest) / 180); }
- 12. .NETラボ 勉強会 2016年4月 コンパス連携 ?EV3制御 12 private Lego.Ev3.Core.Brick Connecter; await this.Connecter.DirectCommand. StepMotorAtPowerAsync(OutputPort.A, 50, step, true); await this.Connecter.DirectCommand. StepMotorAtPowerAsync(OutputPort.D, -50, step, true);
- 14. .NETラボ 勉強会 2016年4月 音声会話 14 Bot Frameworkは、 日本語でやるのに一工夫が必要 音声認識 雑談API 音声合成
- 15. .NETラボ 勉強会 2016年4月 音声会話 ?音声認識 15 this.Speech = new SpeechRecognizer (SpeechRecognizer.SystemSpeechLanguage); var dictationConstraint = new SpeechRecognitionTopicConstraint (SpeechRecognitionScenario.Dictation, "dictation"); this.Speech.Constraints.Add(dictationConstraint); SpeechRecognitionCompilationResult result = await this.Speech.CompileConstraintsAsync(); this.Speech.ContinuousRecognitionSession.ResultGenerated += ContinuousRecognitionSession_ResultGenerated;
- 16. .NETラボ 勉強会 2016年4月 音声会話 ?EV3制御+雑談 ? https://api.apigw.smt.docomo.ne.jp/ 16 var client = new HttpClient(); var respon = await client.PostAsync(requestUri, new StringContent(json, System.Text.Encoding.UTF8, "application/json")); var responJsonText = await respon.Content.ReadAsStringAsync(); var ans = JsonConvert.DeserializeObject<TAnswer>(responJsonTex this.AnswerText = ans.utt;
- 17. .NETラボ 勉強会 2016年4月 音声会話 ?音声合成 (Win10標準) 17 var synthesizer = new Windows.Media.SpeechSynthesis.SpeechSynthesizer(); var stream = await synthesizer.SynthesizeTextToStreamAsync(message); this.Element.SetSource(stream, stream.ContentType); this.Element.Play();
- 18. .NETラボ 勉強会 2016年4月 音声会話で問題発生 18 音声認識 雑談API 音声合成
- 19. .NETラボ 勉強会 2016年4月 音声会話で問題発生 ?解決方法は？ 1. 音声認識は操作側、音声合成はEV3側と役目を分ける 2. 音声合成時には音声認識をオフにする 19 音声認識 雑談API 音声合成 音声合成したものを音声認識が入力としてしまい 延々と雑談を一人ノリ突っ込みしてしまう