ジェスチャー認識?予測プログラムの開発【ソニーのNeural Network Console大勉強会#2】
?Download as PPTX, PDF?
5 likes?2,544 views
2018年2月27日に開催したイベント「ソニーのNeural Network Console大勉強会#2 ～Neural Network Consoleで始める時系列データ処理入門～」の発表資料です。Neural Network ConsoleとNeural Network Librariesを使って、2次元のジェスチャー認識?予測プログラムを作る方法について発表しました。
![21
DATASET_DIR/points/以下の点列データ
? 隣接点間の関係の正規化
? 点と点の間を１ピクセル単位で補間 ： p[ i + 1 ] = ( p[i].x ± 1, p[i].y ± 1 )
? その後、スケールを右記の通り変更 ： -1.0 ≦ x ≦ 1.0， -1.0 ≦ y ≦ 1.0
p[ i – 1 ]
p[ i ]
p[ i + 1 ]
1.0 / 128.0 = 0.0078125
1.0 / 128.0 = 0.0078125
拡大](https://image.slidesharecdn.com/delta20180227-180227224337/85/Neural-Network-Console-2-21-320.jpg)
ジェスチャー認識?予測プログラムの開発【ソニーのNeural Network Console大勉強会#2】
- 1. 1 日程：２０１８年０２月２７日（火）１８：３０～２１：００ 主催：DELTA（Neural Network Libraries / Console 勉強会グループ） 共催：ソニーネットワークコミュニケーションズ株式会社
- 2. 2 タイムテーブル
- 3. 3 Neural Network Libraries / Console 専門の勉強会兼コミュニティです 目的 ? Neural Network Libraries / Console の使い方や応用に関する知見 を蓄積?共有します。 ? Neural Network Libraries / Console で使えるデータ?モデル? ソースコードなどの資産を蓄積?共有します。 ? Neural Network Libraries / Console のユーザー間の情報交換?連 携の機会を提供します。
- 4. 4 運営方針 ? 誰でも参加自由。オープンな勉強会コミュニティ。 ? ボランティア運営。参加費無料（※会場費が必要な場合有）。 ? 開催頻度は１～２ヶ月に１度。 運営メンバー募集！
- 6. 6 アジェンダ ? はじめに ? 自己紹介 ? ジェスチャー認識とは ? ジェスチャー認識プログラムの開発 ? データの用意 ? ジェスチャー認識器の作成 ? Neural Network Console ? ジェスチャー認識器の使用 ? Neural Network Libraries ? ジェスチャー予測プログラムの開発 ? LSTMでジェスチャー予測
- 7. 7 自己紹介 ▼開発経験 ?アルゴリズム/ライブラリ開発（C / C++、Python） ?組み込みソフトウェア開発（C） ?WEBアプリケーション開発（Java、 PHP 、JavaScript、 Python、Go） ?Windowsデスクトップアプリケーション開発（C#） 株式会社LABBIZ 代表取締役 ソフトウェアエンジニア ▼略歴 時計メーカー研究開発職 ? データ分析会社新規事業開発職 ? IoTスタートアップ研究開発職 ? 創業 神谷 亮平 ▼その他 AI Code Hackers（人工知能のコードをハックする会）主催者
- 10. 10 ようするに......
- 11. 11 または...... センサデータ ?（変換）? 二次元点列 ?（認識）? アクション
- 14. 14 ①データを用意する
- 15. 15 データセットの作成 1. 以下のプログラムを作成 A) ジェスチャーパターンを入力?記録するプログラム B) ジェスチャーパターンをデータ拡張?整形するプログラム C) 各データの索引を作るプログラム 2. １のプログラムをA) => B) => C)の順に実行 https://github.com/ryohei-kamiya/2D-GRD プログラムのソースコードは GitHubで公開しています。
- 16. 16 ジェスチャーパターンの入力?記録 $ python3 gesture_painter.py SAVE A列：X座標 (0 ～ 255) B列：Y座標 (0 ～ 255) CSVファイル （画像はExcelでオープンしたところ）
- 19. 19 データ拡張?整形 $ python3 make_datafiles.py ORIGINAL_POINTS_DIR DATASET_DIR ORIGINAL_POINTS_DIR/ a/ b/ c/ x/ y/ z/ 0-1517153926.csv 0-1517154074.csv 0-1517154217.csv DATASET_DIR/ 0-1517153926-0000.csv 0-1517153926-0001.csv 0-1517153926-0002.csv a/ points/ sampled_points/ image/ 0-1517153926-0000.csv 0-1517153926-0001.csv 0-1517153926-0002.csv a/ 0-1517153926-0000.png 0-1517153926-0001.png 0-1517153926-0002.png a/ プログラム実行
- 21. 21 DATASET_DIR/points/以下の点列データ ? 隣接点間の関係の正規化 ? 点と点の間を１ピクセル単位で補間 ： p[ i + 1 ] = ( p[i].x ± 1, p[i].y ± 1 ) ? その後、スケールを右記の通り変更 ： -1.0 ≦ x ≦ 1.0， -1.0 ≦ y ≦ 1.0 p[ i – 1 ] p[ i ] p[ i + 1 ] 1.0 / 128.0 = 0.0078125 1.0 / 128.0 = 0.0078125 拡大
- 22. 22 DATASET_DIR/sampled_points/以下の点列データ ? 点列の長さの正規化 ? DATASET_DIR/points/以下の点列データを64点にサンプリング 0.192157 -0.57647 0.176471 -0.57647 0.176471 -0.60784 0.07451 -0.6549 -0.00392 -0.6549 -0.03529 -0.67059 -0.26275 -0.67059 -0.29412 -0.6549 -0.35686 -0.59216 -0.38039 -0.57647 -0.41961 -0.52157 -0.45098 -0.48235 -0.50588 -0.39608 -0.55294 -0.38039 -0.56863 -0.34902 -0.60784 -0.3098 -0.64706 -0.23922 -0.69412 -0.15294 -0.69412 0.003922 -0.7098 0.035294 -0.7098 0.294118 -0.67843 0.32549 -0.67843 0.34902 -0.62353 0.403922 -0.60784 0.403922 -0.55294 0.435294 -0.53726 0.435294 -0.48235 0.466667 -0.19216 0.466667 -0.16863 0.45098 -0.12157 0.435294 -0.10588 0.403922 -0.06667 0.380392 -0.05098 0.34902 -0.00392 0.294118 0.011765 0.262745 0.058824 0.239216 0.105882 0.192157 0.152941 0.105882 0.192157 0.05098 0.223529 0.019608 0.247059 -0.01177 0.278431 -0.12157 0.278431 -0.3098 0.294118 -0.33333 0.294118 -0.38039 0.317647 -0.39608 0.317647 -0.22353 0.333333 -0.15294 0.34902 -0.0902 0.411765 0.035294 0.427451 0.082353 0.458824 0.105882 0.47451 0.160784 0.521569 0.223529 0.537255 0.262745 0.584314 0.294118 0.607843 0.364706 0.678431 0.388235 0.709804 0.419608 0.72549 0.45098 0.811765 0.498039 0.866667 0.498039 0.866667 0.482353 64行2列 の点列 データ ジェスチャー 開始点 ジェスチャー 終了点 サンプリング 長さ不定 の点列 データ ジェスチャー 開始点 ジェスチャー 終了点
- 23. 23 DATASET_DIR/image/以下の画像データ ? スケールを変えて画像化 ? DATASET_DIR/points/以下の点列データのスケールを下記の通り変更して画像化 ? 0 ≦ x ≦ 27， 0 ≦ y ≦ 27 （その後、28 pix × 28 pix の画像として保存） 画像化 点列 データ ジェスチャー 開始点 ジェスチャー 終了点 0 ≦ x ≦ 27 0 ≦ x ≦ 27
- 24. 24 データ拡張方法 ? 非線形の幾何的な複合変換（以降、データ拡張変換と呼ぶ）を適用 ① Gaussianによる空間歪曲 ② Homography変換（射影変換）による空間歪曲 Gaussianの中心点をランダムに選択して歪曲 4隅の点を（制限された範囲で）ランダムに移動 ① ? ②の順に 各々を適用
- 26. 26 データセット索引作成 DATASET_DIR $ ./make-points-dataset.sh DATASET_DIR $ ./make-spoints-dataset.sh 点列データのデータセット索引ファイルを作成 サンプリングされた点列データのデータセット 索引ファイルを作成
- 27. 27 点列データセット索引ファイル ? Lサイズデータセット ? grd-points-training-l.csv ? grd-points-validation-l.csv ? grd-points-test-l.csv ? Mサイズデータセット ? grd-points-training-m.csv ? grd-points-validation-m.csv ? grd-points-test-m.csv ? Sサイズデータセット ? grd-points-training-s.csv ? grd-points-validation-s.csv ? grd-points-test-s.csv A列：点列データファイル B列：正解クラス番号（a = 0, b = 1, ..., z = 25)
- 28. 28 サンプリング点列データセット索引ファイル ? Lサイズデータセット ? grd-sampled_points-training-l.csv ? grd-sampled_points-validation-l.csv ? grd-sampled_points-test-l.csv ? Mサイズデータセット ? grd-sampled_points-training-m.csv ? grd-sampled_points-validation-m.csv ? grd-sampled_points-test-m.csv ? Sサイズデータセット ? grd-sampled_points-training-s.csv ? grd-sampled_points-validation-s.csv ? grd-sampled_points-test-s.csv A列：サンプリング点列データファイル B列：正解クラス番号（a = 0, b = 1, ..., z = 25)
- 29. 29 各データセットのサイズ ? 全体サイズ ? １クラスあたり ? データ拡張変換未適用データ：１０パターン ? データ拡張変換１回適用データ：８０パターン ? データ拡張変換２回適用データ：６４０パターン ? 全部（２６クラス）で１８９８０パターン ? Lサイズデータセットサイズ ? 学習用データセット：全体サイズの７割 ? 検証用データセット：全体サイズの２割 ? 評価用データセット：全体サイズの１割 ? Mサイズデータセットサイズ ? Lサイズデータセットの半分 ? Sサイズデータセットサイズ ? Mサイズデータセットの半分 クラスごとに730パターン
- 43. 43 ソースコードのエクスポート
- 49. 49 ジェスチャー認識プログラム $ python3 delta2_mlp_gesture_recognizer.py -mlp mlp-parameters.h5 -l labels.txt 実行方法 Neural Network Consoleで学習した モデルパラメータファイル クラス番号（行番号）とクラス名を関連づけるファイル 依存ライブラリ ? Neural Network Libraries ? numpy ? tkinter (X Window)
- 52. 52 ジェスチャー入力処理 マウスクリック （入力開始） マウスドラッグ （点列入力） マウスリリース （認識実行／結果表示） delta2_mlp_gesture_recognizer.py
- 55. 55 簡単！ ? プログラムの行数にして、200行くらい ? 初期化処理、推論実行処理はほぼ定型文 ? ネットワーク部分はコピペ （Neural Network Consoleからエクスポート）
- 56. 56 ここまでのまとめ ? Neural Network Console / Librariesを使って、 ジェスチャー認識プログラムを作成 ? Neural Network Console / Librariesのおかげ で、モデル／プログラム作成は簡単 ? 開発はほぼデータを用意するところだけ
- 60. 60 入出力データ ? 入力データ ? 現時刻の点の座標を(0, 0)とした、直近の（過去の） N個の点列の相対位置の時系列データ ? 出力データ ? 次の（未来の）１点の現時刻の点からの相対位置
- 67. 67 予測精度評価 入力点数 平均二乗誤差 ピクセル単位換算 誤差 16 1.115419×10^-5 0.427493 64 1.079881×10^-5 0.420628 grd-points-test-s.csvを使用し、直近の64点から次の1点の相対位置予測を評価 （点列を1点ずつずらして入力） 誤差は1ピクセル以下。 隣接8ピクセルからランダムに選択する 場合の誤差（≒1.54）よりも小さい。
- 68. 68 まとめ ? Neural Network Librariesを使ってLSTMを 実装し、ジェスチャー予測プログラムを作成 ? ソースコードは全てGitHubで公開中 お試しください https://github.com/ryohei-kamiya/2D-GRD
- 69. 69 Neural Network Consoleにさらに期待すること ? 長さが一定じゃない入力も扱えるとうれしいです ? 時系列データを扱うときにほしくなります ? 独自のコンポーネントを追加できるとうれしいです ? 今回の場合、独自の正規化処理を入れたくなりました ? LoopControl系コンポーネントがエクスポートでき るとうれしいです