20190313_Introduction of ai development neural network console which became familiar
?Download as PPTX, PDF?
3 likes?1,467 views
Introduction of ai development neural network console which became familiar
![3
28.2 25.8 26.1
16.4
11.7
6.7
3.57
2.99
2.25
1
10
2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020
Top-5ErrorRate[%]
Year
Deep Learning従来型
機械学習
圧倒的な認識性能を示すDeep Learning
従来の性能限界を打ち破り、数々の課題で人を超える性能を達成しつつある
人の認識誤差
？
画像認識における精度向上
年率50%に迫る
誤差の改善](https://image.slidesharecdn.com/20190313introductionofaidevelopmentneuralnetworkconsolewhichbecamefamiliar-190316033215/85/20190313_Introduction-of-ai-development-neural-network-console-which-became-familiar-3-320.jpg)
![20
Neural Network Librariesの特長1：洗練された文法構造
? CPU→GPUへの切り替え
以下のコードをネットワーク定義前に追加するのみでCUDA/cuDNNが利用できる
? Static Network (Define and run)→Dynamic Network (Define by run)の切り替え
? Multi GPUを用いた学習
わずかなコードの追加（ネットワークのコードは修正不要）で各種機能を利用可能
from nnabla.ext_utils import get_extension_context
nn.set_default_context(get_extension_context('cudnn'))
# 動的NNモードに変更
nn.set_auto_forward(True)
for i in range(max_iter):
…
loss.backward(clear_buffer=True)
# デバイス間でパラメタを交換
grads = [x.grad for x in nn.get_parameters().values()]
comm.allreduce(grads, division=False, inplace=False)
solver.update()
学習コード中の変更は2行
※CPU/GPU間の転送は必要な時に自動で行われる
（意図的に行わせることも可能）](https://image.slidesharecdn.com/20190313introductionofaidevelopmentneuralnetworkconsolewhichbecamefamiliar-190316033215/85/20190313_Introduction-of-ai-development-neural-network-console-which-became-familiar-20-320.jpg)
20190313_Introduction of ai development neural network console which became familiar
- 1. ソニーネットワークコミュニケーションズ株式会社 / ソニー株式会社 シニアマシンラーニングリサーチャー 小林 由幸 身近になったAI開発 「Neural Network Console」のご紹介
- 2. 2 自己紹介 小林 由幸 1999年にソニーに入社、2003年より機械学習 技術の研究開発を始め、音楽解析技術「12音 解析」のコアアルゴリズム、認識技術の自動 生成技術「ELFE」などを開発。近年は 「Neural Network Console」を中心にディー プラーニング関連の技術?ソフトウェア開発 を進める一方、機械学習普及促進や新しいア プリケーションの発掘にも注力。 こばやし よしゆき
- 3. 3 28.2 25.8 26.1 16.4 11.7 6.7 3.57 2.99 2.25 1 10 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 Top-5ErrorRate[%] Year Deep Learning従来型 機械学習 圧倒的な認識性能を示すDeep Learning 従来の性能限界を打ち破り、数々の課題で人を超える性能を達成しつつある 人の認識誤差 ？ 画像認識における精度向上 年率50%に迫る 誤差の改善
- 4. 4 圧倒的な認識性能を示すDeep Learning 従来の性能限界を打ち破り、数々の課題で人を超える性能を達成しつつある 音声認識 ? 2011年 音声認識にDeep Learningを適用し、音声認識誤差を30%前後改善 スマートフォン等で音声認識が一般化する契機に ? 2016年10月 Microsoftは音声認識技術において人間並みの性能を実現したと発表 https://arxiv.org/pdf/1610.05256v1.pdf 囲碁 ? 2015年10月 Google傘下のDeep Mindが開発したDeep Learningによる囲碁プログラム Alpha Goがプロ棋士に勝利 ? 2016年3月 世界最強棋士の一人である李セドル九段に勝利 ? 2017年5月 世界棋士レート一位の柯潔に三局全勝 https://ja.wikipedia.org/wiki/AlphaGo
- 6. 6 Deep Learningとは 脳の学習機能をコンピュータでシミュレーションするニューラルネットワークを用いた技術 神経細胞 人工ニューロン x1 x2 x3 … y ? = ? ??x? + b ニューラルネットワーク （1960～1990頃） Deep Learning (2006～) 0 1 入力層 中間層 出力層 … … … 1～2層の中間層 … … … … … … … 入力層 出力層 3層～1000以上の中間層 数十Ｍ規模のニューロン数 大規模なニューラルネットワークの 学習が可能になり、大幅に性能向上
- 7. 7 Deep Learningを用い、認識機を作成するために必要な作業 … … … … … … … 画像認識機 （Neural Network） Input：画像 Output：画像認識結果 「2」 1. データセットを用意する 入力と、期待する出力のペアを多数用意 （教材の準備に相当） 2. ニューラルネットワークの構造を 設計する（脳の構造設計に相当） 3. 用意したデータセットで、設計した ニューラルネットワークを学習する 従来の機械学習手法と比較して、高い性能を実現できると同時に扱いやすい技術でもある … 「0」 … 「1」 … 「2」 … 「3」 … 「4」 … 「5」 … 「6」 … 「7」 … 「8」 … 「9」
- 8. 8 入出力次第で無限に広がるDeep Learningの応用 Deep Learningは汎用技術。応用開発人材の育成と、活用の促進が求められる …入力 出力 実現する機能 入力 出力 画像認識 画像 カテゴリ 文章の自動仕分け 文章 文章カテゴリ 音声認識 音声 文字列 機械翻訳 英単語列 日単語列 人工無能（チャット） 入力発話の単語列 期待応答の単語列 センサ異常検知 センサ信号 異常度 ロボット制御 ロボットのセンサ ロボットのアクチュエーター … 実現する機能
- 9. 9 事例：Visual Question Answering 画像と、画像に対する質問の2つの入力を元に、質問に対する答えを推定する問題 入力1 画像 入力2 質問文 Sunny What is the weather like? 出力 質問に対する答え 入力と出力のペアからなる教示のみを元にニューラルネットワークを学習することで、 （ルールも知識表現もなく）相当複雑な機能を獲得できる 論文：「Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding」 Akira Fukui, Dong Huk Park, Daylen Yang, Anna Rohrbach, Trevor Darrell, Marcus Rohrbach https://arxiv.org/abs/1606.01847 … ニューラルネットワーク
- 10. 10 Deep Learningにより大きく変わる機能開発の概念 従来 機能をモジュールに分解して開発 Deep Learning時代 End-to-end学習 ? 必要な機能をモジュールに分解（設計） ? プログラムにより各モジュールを実装 実現できる機能の複雑さ∝プログラム量 ? 入力から出力を得る機能をデータからの 学習で直接獲得 実現できる機能の複雑さ∝データ量 高機能、高性能を実現するために求められるものは、設計ノウハウからデータに 構文解析 Visual Question Answering 文章認識画像認識 質問意味理解 回答推定
- 11. 11 ワークフローの比較 従来の技術開発 ? 仕様策定 ? 設計（機能ブロックに分解） ? 実装 ? デバッグ ? コンパイル ? パラメータ調整 ? QA Deep Learningベースの技術開発 ? 仕様策定 ? 入出力?ネットワークアーキテクチャ設計 ? データ収集 ? データ収集、ラベルミス修正 ? 学習 ? データ収集 ? テストデータで評価
- 12. 12 データに取り組まずして、競争力ある性能は実現し得ない時代に Deep Learningにおけるデータの重要性 Deep Learningにおいて、データの量と質は性能に直結 データ収集には、アルゴリズム検討と同等かそれ以上にコストを割く価値がある Exploring the Limits of Weakly Supervised Pretraining (2018/5/2 Facebook) https://arxiv.org/abs/1805.00932 ※Instagramの35億枚画像から学習し、従来の128万枚 での学習と比較し大幅な性能向上を達成 （ImageNet-1kのTop-5 ErrorでNASNetA 3.8%→2.4%） 2010年当時の128万枚から、年率2.7倍のペースでデー タ数が増加した計算 log(データ数)に対し線形に性能が向上
- 13. 13 Deep Learningのもたらすゲームチェンジと課題 ? Deep Learningは簡単。知的処理の開発は、一般の技術者でも十分可能に ? Deep Learningは汎用。画像認識以外にも様々な機能を実現できる ? 機能分解型の設計から、End-to-End学習による機能開発へ ? Deep Learningにおいて、性能を決定づけるのはノウハウではなくデータ 課題 ? Deep Learningの本質を理解して取り組める技術者が大幅に不足 ? Deep Learning研究開発の効率化 ? 大幅に不足するDeep Learning人材の垂直立ち上げ データ ソフトウェ ア環境 計算環境 人材 応用促進 …
- 15. 15 ソニーのDeep Learningに対する取り組み Neural Network Libraries / Consoleにより、効率的なAI技術の研究開発、人材育成を実現 2000年以前～ 機械学習の研究開発 2010年～ Deep Learningの研究開発 2011年～ 初代コアライブラリ 2013年～ 第二世代コアライブラリ 2016年～ 第3世代コアライブラリ Neural Network Libraries 2015年～ GUIツール 2010年～ Deep Learning開発者向けソフトウェアの開発 Deep Learningを用いた認識技術等の 開発者が用いるソフトウェア群 技術開発効率、習得効率を 圧倒的に向上 Neural Network Console 17/8/17 Windows版無償公開 18/5/9 クラウド版正式サービス開始 17/6/27 オープンソースとして公開
- 16. 16 Neural Network Libraries / Consoleとは Neural Network Libraries ?Deep Learning研究開発者向けオープンソースフレーム ワーク（他社製既存Deep Learning FWに相当） ?コーディングを通じて利用→高い自由度 ?最先端の研究や製品への実装にも柔軟に対応 Neural Network Console ?研究や、商用レベルの技術開発に対応したDeep Learningツール ?様々なサポート機能→高い開発効率 ?GUIによるビジュアルな操作→敷居が低い 主なターゲット ?じっくりと研究?開発に取り組まれる方 ?プログラミング可能な研究、開発者 import nnabla as nn import nnabla.functions as F import nnabla.parametric_functions as PF x = nn.Variable(100) t = nn.Variable(10) h = F.tanh(PF.affine(x, 300, name='affine1')) y = PF.affine(h, 10, name='affine2') loss = F.mean(F.softmax_cross_entropy(y, t)) 主なターゲット ?特に開発効率を重視される方 ?はじめてDeep Learningに触れる方 研究開発における課題を解決し、Deep Learningの研究開発を効率化するソフトウェア 学習エンジンとして Neural Network Librariesを利用
- 17. 17 Neural Network Libraries / Consoleのソニーグループ内活用事例 画像認識 ソニーのエンタテインメントロボット“aibo”（アイボ）『ERS-1000』の 画像認識にNeural Network Librariesが使用されています。aiboの鼻先の魚眼レンズによ る画像認識においての人物判定から顔トラッキング、充電台認識、一般物体認識などで 積極的に活用され、多彩なセンサーを搭載することで状況に応じたふるまいの表出を可 能にしています ジェスチャー認識 ソニーモバイルコミュニケーションズの「Xperia Ear」の ヘッドジェスチャー認識機能にNeural Network Librariesが使用されています。「Xperia Ear」に搭載されているセンサーからのデータを元に、ヘッドジェスチャー認識機能に より、首を縦や横に振るだけで、「Xperia Ear」に搭載されているアシスタントに対し て「はい／いいえ」の応答や、着信の応答／拒否、通知の読み上げキャンセル、次／前 のトラックのスキップを行えます 価格推定 ソニー不動産の「不動産価格推定エンジン」に、Neural Network Librariesが使用されています。この技術を核として、ソニー不動産が持つ査定ノウハウ やナレッジをベースとした独自のアルゴリズムに基づいて膨大な量のデータを解析し、 不動産売買における成約価格を統計的に推定する本ソリューションが実現されました。 本ソリューションは、「おうちダイレクト」や、「物件探索マップ」「自動査定」な ど、ソニー不動産の様々なビジネスに活用されています。 既にソニーグループ内で多数の商品化実績。業務効率化にも積極活用
- 18. 18 Neural Network Libraries 研究者?開発者向けオープンソース（Apache2.0 License）プログラミングライブラリ 設計?学習?推論（実行）ロジックをプログラミング（Python/C++）で柔軟記述 nnabla.org C++で実装されたコンパクト、高速かつ移植性の高いコアと、 利便性に優れたPython APIからなるライブラリ # 自動微分用の変数コンテナ from nnabla import Variable # ニューラルネットワークの関数ブロック import nnabla.functions as F # パラメタ付きの関数ブロック import nnabla.parametric_functions as PF
- 19. 19 Neural Network Librariesの特長1：洗練された文法構造 Convol ution MaxPo oling ReLU Convol ution MaxPo oling ReLU Affine ReLU Affine 例）手書き数字認識で典型的なモデル（LeNet） def lenet(x): '''Construct LeNet prediction model.''' h = PF.convolution(x, 16, (5, 5), name='c1') h = F.relu(F.max_pooling(h, (2, 2), inplace=True)) h = PF.convolution(h, 16, (5, 5), name='c2') h = F.relu(F.max_pooling(h, (2, 2), inplace=True)) h = F.relu(PF.affine(h, 50, name='f3')) h = PF.affine(h, 50, name='f4') return h h = PF.convolution(x, outmap, filter_size, name='conv1') パラメタ付き関数を簡単に記述 x h conv1/W conv1/b conv # パラメタ付き関数の定義 self.conv1 = Convolution(inmap, outmap, filter_size) ... # パラメタ付き関数の利用 h = self.conv1(x) このような事前の定義はいらない（Linear code!） 書きやすく読みやすい、デバッグ、メンテナンス性に優れた文法 わずか6行
- 20. 20 Neural Network Librariesの特長1：洗練された文法構造 ? CPU→GPUへの切り替え 以下のコードをネットワーク定義前に追加するのみでCUDA/cuDNNが利用できる ? Static Network (Define and run)→Dynamic Network (Define by run)の切り替え ? Multi GPUを用いた学習 わずかなコードの追加（ネットワークのコードは修正不要）で各種機能を利用可能 from nnabla.ext_utils import get_extension_context nn.set_default_context(get_extension_context('cudnn')) # 動的NNモードに変更 nn.set_auto_forward(True) for i in range(max_iter): … loss.backward(clear_buffer=True) # デバイス間でパラメタを交換 grads = [x.grad for x in nn.get_parameters().values()] comm.allreduce(grads, division=False, inplace=False) solver.update() 学習コード中の変更は2行 ※CPU/GPU間の転送は必要な時に自動で行われる （意図的に行わせることも可能）
- 21. 21 Neural Network Librariesの特長2：プラグインでデバイス追加 宣言一つで、APIやコア部分はそのままに、特定デバイス用のコードを利用 High-level API ?Python API ?C++ API ?CLI ?Utils CPU Implements ?Array ?Function ?Solver ?Communicator Core ?Variable ?CoputationGraph ?… nnabla nnabla-ext-cuda CUDA Implements ?Array ?Function ?Solver ?Communicator from nnabla.ext_utils import get_extension_context nn.set_default_context(get_extension_context('cudnn')) 宣言一つで、 APIやコア部分はそのままに、 特定デバイス用のコードを利用○○ Implements ?Array ?Function ?Solver ?Communicator nnabla-ext-cudaをフォークし 社内独自チップ等、 特定デバイス用実装を開発可 nnabla-ext-○○ プラグインに実装がない関数は 自動的にCPUにフォールバック
- 22. 22 Neural Network Librariesの特長3：学習結果はC++で組み込み可 Framework A Exchange format Runtime software B サーバー学習 組み込み推論 “レイヤー zzz がありません”NNLのC++ APIはコアが同じなので大丈夫！ C++ core Python API C++ API 学習済 モデル 推論エンジンへの組み込みでよくある躓きポイント 学習時に使ったコアをそのままデバイス上で利用するため、実装がスムーズ
- 23. 23 Neural Network Console 商用クオリティのDeep Learning応用技術（画像認識機等）開発のための統合開発環境 コーディングレスで効率の良いDeep Learningの研究開発を実現 クラウド版（CPU 10時間まで無償）Windows版（無償） dl.sony.com インストールするだけ、もしくはサインアップするだけで本格的なDeep Learning開発が可能 成果物はオープンソースのNeural Network Librariesを用いて製品、サービス等への組み込みが可能
- 26. 26 Neural Network Libraries/Console開発コンセプト ? 大幅に不足していると言われるDeep Learningの研究開発者を育成する ? これからDeep Learningを始ようとするユーザにとっての敷居をとことん下げる ? 使っている間に、いつのまにかDeep Learningのエキスパートへ ? Deep Learningの研究開発者に、目的達成のためのハイウェイを提供する ? 最先端研究?商用レベルの技術開発に必要なツールを提供する ? Deep Learningの研究開発における面倒を機能で徹底的に解決し、高い開発効率を実現する 初心者にとってもエキスパートへのショートカットとして機能する
- 27. 27 人材育成 Deep Learningは「習うより慣れろ」。直観的理解が活用促進につながる 昨年度時点でグループ内1000人以上の社員がNeural Network Libraries/Consoleを活用。 その後も急速にユーザが増えつつある。 ※社内Deep Learning講習会の様子 2018/9/18より、企業向けにもハンズオンセミナーの提供開始（スターターパック）
- 28. 28 Neural Network Libraries/Console 優れたDeep Learningの開発環境を提供し、需要の急拡大するAI技術の普及?発展に貢献 Neural Network Libraries https://nnabla.org/ Neural Network Console https://dl.sony.com/ import nnabla as nn import nnabla.functions as F import nnabla.parametric_functions as PF x = nn.Variable(100) t = nn.Variable(10) h = F.tanh(PF.affine(x, 300, name='affine1')) y = PF.affine(h, 10, name='affine2') loss = F.mean(F.softmax_cross_entropy(y, t)) 実現 ? Deep Learning技術者の迅速な育成 ? 効率的なDeep Learning応用技術の研究開発～実用化 様々な特長を兼ね備えた最新世代のDeep Learningフレームワーク 商用クオリティのDeep Learning応用技術開発を実現する統合開発環境
- 29. 29 Neural Network Console 机能绍介
- 30. 30 Neural Network Console 機能?特長紹介 ? 簡単セットアップ ? ドラッグ＆ドロップによるニューラルネットワークの設計 ? グラフとブロックが融合した直観的なネットワーク編集 ? デバッグを容易にするリアルタイムなエラーの表示 ? パラメータ数、演算量等の自動計算 ? ボトルネックの分析を容易にするレイヤー毎の統計値表示 ? ワンクリックで学習?評価を実行 ? 試行錯誤の履歴管理機能 ? 「Open Learning Curve for Comparison」でLearning Curveを重ねて表示 ? 「Open in EDIT Tab」で好きなタイミングに戻って再編集 ? 係数の可視化 ? 構造自動探索 ? 様々なタスク、データ、ネットワークに対応
- 31. 31 セットアップ：クラウド版 新規アカウントを作成し、ログインするだけで利用の準備が完了 1. アカウントを作成 2. 作成したアカウントでログイン
- 32. 32 セットアップ：Windows版 1. zipファイルをダウンロード 2. 適当なフォルダに解凍 ダウンロードしたzipファイルを解凍するだけで基本的なセットアップは完了 日本語マニュアル Neural Network Consoleアプリ ※Neural Network Consoleは2バイト文字に対応していないため、漢字等の含まれないフォルダへの解凍が必要 ※Visual Studio 2015の再頒布パッケージがインストールされていない場合はインストール ※NVIDIAのGPUを用いる場合、GPUドライバを最新のものにアップデート
- 37. 37 試行錯誤の履歴管理機能
- 40. 40 構造自動探索機能
- 42. 42 様々なネットワークに対応
- 43. 43 最新機能のご紹介
- 44. 44 pptx, htmlレポート出力機能 学習の設定、学習?評価結果をPower Point ? 形式のレポートとして出力できる機能 ※PowerPoint?は米国Microsoft Corporationの米国およびその他の国における登録商標です。
- 46. Dataset : Training ? Number of data : 60,000 – Variable : x (image) ? Type : Image ? Shape : 1, 28, 28 – Variable : y (label) ? Type : Scalar pptxレポート出力機能を用いて出力した実際のレポート
- 47. Dataset : Examples of variable x in "Training" pptxレポート出力機能を用いて出力した実際のレポート
- 48. Dataset : Validation ? Number of data : 10,000 – Variable : x (image) ? Type : Image ? Shape : 1, 28, 28 – Variable : y (label) ? Type : Scalar pptxレポート出力機能を用いて出力した実際のレポート
- 49. Dataset : Examples of variable x in "Validation" pptxレポート出力機能を用いて出力した実際のレポート
- 50. Network Architecture : Main Type Value Output 26,929 CostParameter 70,054 CostAdd 21,920 CostMultiply 3,144 CostMultiplyAdd 700,904 CostDivision 10 CostExp 110 CostIf 13,124 pptxレポート出力機能を用いて出力した実際のレポート
- 51. Training Procedure : Optimizer ? Optimize network "Main" using "Training" dataset. – Batch size : 64 – Solver : Adam ? Learning rate(Alpha) : 0.001 ? Beta1 : 0.9 ? Beta2 : 0.999 ? Epsilon : 1e-08 – Weight decay is not applied. pptxレポート出力機能を用いて出力した実際のレポート
- 52. Experimental Result : Learning Curve pptxレポート出力機能を用いて出力した実際のレポート
- 53. Experimental Result : Evaluation ? Evaluate network "MainRuntime" using "Validation" dataset. ? Variable : y – Accuracy : 0.9931 – Avg.Precision : 0.9930 – Avg.Recall : 0.9929 – Avg.F-Measures : 0.9929 pptxレポート出力機能を用いて出力した実際のレポート
- 54. References ? Sony Corporation. Neural Network Console : Not just train and evaluate. You can design neural networks with fast and intuitive GUI. https://dl.sony.com/ ? Sony Corporation. Neural Network Libraries : An open source software to make research, development and implementation of neural network more efficient. https://nnabla.org/ ? BatchNormalization - Ioffe and Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. https://arxiv.org/abs/1502.03167 ? Convolution - Chen et al., DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs. https://arxiv.org/abs/1606.00915, Yu et al., Multi-Scale Context Aggregation by Dilated Convolutions. https://arxiv.org/abs/1511.07122 ? ELU - Clevart et al., Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs). http://arxiv.org/abs/1511.07289 ? Adam - Matthew D. Zeiler. ADADELTA: An Adaptive Learning Rate Method. https://arxiv.org/abs/1212.5701 pptxレポート出力機能を用いて出力した実際のレポート
- 55. 55 マルチGPU環境の提供（Cloud版） ? ニューラルネットワークの学習には膨大な演算が必要 ? 必要な演算量は主に扱うデータの量とニューラルネットワークの 構造に依存 ? GPU、マルチGPUを用いると、学習完了までの時間を 大幅に短縮できる ? ネットワークにもよるが、10倍～数百倍高速に学習できる ? 同じ開発期間でより多くの試行錯誤を行うことが可能に ? 環境のセットアップ、メンテナンス作業不要で豊富な GPUリソースを利用可能 ? 開発者はDeep Learningの開発作業に集中できる 最先端研究者と同等の環境（1ジョブあたり8GPU×無制限の並列利用）をGUI環境から利用可能 ※計算リソース利用料は 学習?評価実行中のみの従量課金
- 56. 56 利用方法 実行環境 言語 GPUの利用 メリット デメリット 1. NNabla Python CLI Neural Network Libraries Python (CLI) Yes 最も簡単 低速 2. NNabla Python API Python Yes 比較的容易 3. NNabla C++ Runtime C++ Yes 推論時にPython不要 4. NNabla C Runtime C No 非常にコンパクトに組 み込み可能 環境に合わせた最 適化が必要 5. ONNX 対応ソフ トウェア、ハード ウェア 各社の提供する ONNX対応Runtime 環境によ り様々 環境により 様々 環境により様々 現状は互換性の問 題が生じることも 作成したモデルを利用する方法は5通り ※ NNabla C++ Runtimeからの実行方法 https://github.com/sony/nnabla/tree/master/examples/cpp/mnist_runtime ※ NNabla C Runtimeからの実行方法 https://github.com/sony/nnabla-c-runtime ※ ONNXへのコンバート方法 https://nnabla.readthedocs.io/en/latest/python/file_format_converter/file_format_converter.html 目的に合わせて最適な利用方法を選択
- 57. 57 IoTでのDeep Learning活用を加速するSPRESENSE https://www.sony.co.jp/SonyInfo/News/Press/201805/18-044/ https://developer.sony.com/develop/spresense/ ?IoT向けスマートセンシングプロセッサ搭載ボード ?乾電池で動作する低消費電力 ?ソフトウェアはArduino IDE、Eclipse IDEにて開発可能 CPU ARM? Cortex?-M4F x 6 cores Maximum Clock Frequency 156 MHz SRAM 1.5 MB Flash Memory 8 MB NNabla C Runtimeを用いることで、例えば学習したニューラルネットワークを SPRESENSE上で動作させることができる
- 58. 58 NNCはDeep Learningを用いた開発における様々な課題を解決 課題 Neural Network Console 環境構築が大変 簡単セットアップ 入門の敷居が高い Python不要なGUIベース開発環境 処理に時間がかかる Neural Network Librariesによる高速処理 デバッグやフットプリントの 見積もりが大変 実装と同時に視覚的にエラー箇所やフット プリントを確認 試行錯誤が大変 GUIで試行錯誤に集中。構造自動探索機能も 簡単に使える環境は制約が大きい 商用クオリティーかつ多様な開発に対応 製品?サービスへの実装が大変 Python, C/C++, ONNX等を通じた実行に対 応 情報共有が大変 html等の出力機能で簡単に情報共有
- 59. 59 お客様応用事例
- 60. 60 お客様応用事例: 群馬県蚕糸技術センター様?群馬産業技術センター様 産卵台紙※1上の複数の蚕種の中から不良卵を一度に分類できるエンジンを開発し、 蚕品種育成環境へフィードバックし孵化率の向上を目指す 蚕種製造業者導入先 蚕種の中から不良卵を分類 複数の蚕種の中から一度に不良卵を抽出?分類するエンジンを 開発。蚕品種育成環境へフィードバックすることで孵化率の向 上に寄与。 概要 蚕種の孵化率向上目的 不良卵の分類モデル データ 画像（産卵台紙※1上の蚕種） Deep Learning エンジン サービスイメージ 入力 ※1 産卵台紙:カイコに卵を産みつけさせる厚手の紙 ※2 催青死卵: 「催青」とは、蚕種を適切に管理された環境に置き孵化させることを意味し、「催青死卵」は催青中に死んだ蚕種を指す。 「蚕種(カイコの卵)の不良卵分類（一般財団法人大日本蚕糸会貞明皇后助成金事業）」 蚕種製造業者 不良卵の分類エンジン 孵化率向上↑ 蚕品種育成環境へフィードバック 蚕種 ■不受精卵: 49 ■普通死卵: 14 ■催青死卵: 1 カテゴリー（不良卵の種類） 数値（位置座標） 出力 不受精卵 (10,13),(12,15) ??? 拡大図 普通死卵 (8,9),(110,11) ??? 催青死卵 (13,5),(15,7)
- 61. 61 お客様応用事例：三恵技研工業株式会社様?群馬産業技術センター様 -ロボットアームへの応用 画像認識による位置座標検出と分類を組み合わせることでロボットビジョンを構築し、ピッキング 作業などを自動化するロボットアームへの応用をご検討。 製造業 など導入先 画像認識によるロボットビジョンの実現 画像をインプットに対象物の認識?分類と位置座標の検出を組 み合わせることで、ロボットビジョンを実現。 概要 ピッキング作業などの自動化目的 画像認識モデル データ 数値（位置座標） カテゴリ（対象物の分類） 画像（生産ラインなど） Deep Learning エンジン サービスイメージ 入力 出力 (10,30), (50,90) カード(スペード,A) ▲位置座標を元に対象物 をピックアップ ▲対象物の分類ごとに 仕分け
- 62. 62 まとめ Deep Learningは圧倒的に高い性能を実現するだけではなく、簡単で汎用。 既にソフトウェア環境は整いつつあり、今後急速な活用?普及拡大が予想される Deep Learningの開発はデータトリブンなEnd-to-end学習。 高い性能を実現するためには膨大なデータと高速な計算環境が求められる ソニーではNeural Network Libraries/Consoleを社内に展開することで、 効率的なDeep Learning人材の育成と応用技術の開発、実用化を実現してきた Deep Learningの本質の理解のためには「まず使ってみること」が重要 Deep Learningを積極活用し、より豊かな社会の実現を
- 63. 63 参考資料 (1/2) Neural Network Console https://dl.sony.com/ja/ Neural Network Consoleスターターパック（企業向け研修プログラムとテクニカルサポート） https://dl.sony.com/ja/business/ Neural Network Libraries https://nnabla.org/ja/ Twitter（Neural Network Libraries / Consoleに関する最新情報など） @NNC_NNL_jpn YouTube（デモ動画など） https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA
- 64. 64 参考資料 (2/2) CQ出版社より発売のインターフェイス誌 2019年1月号の特集、 「小型リアルタイム組み込み人工知能」第一部にて、Neural Network Libraries / Consoleを使った認識機の学習から、SPRESENSEほか小型マ イコンで動作させるまでの流れが解説されています。 組み込み用途での利用を検討されている方にお勧めです。 リックテレコム社より発売の「ソニー開発のNeural Network Console入 門 --数式なし、コーディングなしのディープラーニング」が改訂され、 クラウド対応版になりました。 Neural Network Consoleを用いた異常検知、文章分類の方法についても 紹介されています。
Editor's Notes
- http://jpx20150019.ifs.sony.co.jp:32768/