狠狠撸

狠狠撸Share a Scribd company logo

2018/07/26 Game change by Deep Learning and tips to make a leap

?Download as PPTX, PDF?
?
Sony Network Communications Inc.
Sony Network Communications Inc.

This is a slide we have showed in THE AI 2nd at Roppongi Academyhills. 2018年7月26日六本木アカデミーヒルズにて行われたTHE AI 2ndでの講演資料です。 https://ledge.ai/the-ai-2nd/

1 of 22
Downloaded 16 times
THE AI 2018 2nd ソニーネットワークコミュニケーションズ株式会社 / ソニー株式会社 シニアマシンラーニングリサーチャー 小林 由幸 Deep Learningのもたらすゲームチェンジと、 飛躍へのヒント
2 自己紹介 小林 由幸 1999年にソニーに入社、2003年より機械学習 技術の研究開発を始め、音楽解析技術「12音 解析」のコアアルゴリズム、認識技術の自動 生成技術「ELFE」などを開発。近年は 「Neural Network Console」を中心にディー プラーニング関連の技術?ソフトウェア開発 を進める一方、機械学習普及促進や新しいア プリケーションの発掘にも注力。 こばやし よしゆき
3 Deep Learningのもたらすゲームチェンジ
4 28.2 25.8 26.1 16.4 11.7 6.7 3.57 2.99 2.25 1 10 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 Top-5ErrorRate[%] Year Deep Learning従来型 機械学習 圧倒的な認識性能を示すDeep Learning 従来の性能限界を打ち破り、数々の課題で人を超える性能を達成しつつある 人の認識誤差 ？ 画像認識における精度向上 年率50%に迫る 誤差の改善
5 人の認識性能を超えたことで、機械学習の実用化が急加速 人の認識性能 認識 性能 2015 20182012 実用化 機械学習を使えば自動化できるが、 人の品質にはかなわない。 適用できるシーンは限定的。 Deep Learningを用いるほうが 人が作業するよりも高品質、 さらに速くて安い。 相転移
6 Deep Learningを用い、認識機を作成するために必要な作業 … … … … … … … 画像認識機 （Neural Network） Input：画像 Output：画像認識結果 「2」 1. データセットを用意する 入力と、期待する出力のペアを多数用意 （教材の準備に相当） 2. ニューラルネットワークの構造を 設計する（脳の構造設計に相当） 3. 用意したデータセットで、設計した ニューラルネットワークを学習する 従来の機械学習手法と比較して、高い性能を実現できると同時に扱いやすい技術でもある … 「0」 … 「1」 … 「2」 … 「3」 … 「4」 … 「5」 … 「6」 … 「7」 … 「8」 … 「9」
7 入出力次第で広がるDeep Learningの活用 …入力 出力 実現する機能 入力 出力 画像認識 画像 カテゴリ 文章の自動仕分け 文章 文章カテゴリ 音声認識 音声 文字列 機械翻訳 英単語列 日単語列 人工無能（チャットボット） 入力発話の単語列 期待応答の単語列 画像加工 入力画像 出力画像 ロボット制御 ロボットのセンサ ロボットのアクチュエーター … Deep Learningは高い汎用性を備えた技術。応用範囲はどんどん広がっている 実現する機能
8 Deep Learningにより大きく変わる機能開発の概念 従来 機能をモジュールに分解して開発 Deep Learning時代 End-to-end学習 ? 必要な機能をモジュールに分解（設計） ? プログラムにより各モジュールを実装 実現できる機能の複雑さ∝プログラム量 ? 入力から出力を得る機能をデータからの 学習で直接獲得 実現できる機能の複雑さ∝データ量 高機能、高性能を実現するために求められるものは、設計ノウハウからデータに 画像勾配計算 手書き数字認識 画像特徴抽出前処理 ヒストグラム 判別分析
9 Deep Learningのもたらすゲームチェンジ ? Deep Learningは簡単。知的処理の開発は、一般の技術者でも十分可能に ? Deep Learningは汎用。画像認識以外にも様々な機能を実現できる ? 機能分解型の設計から、End-to-End学習による機能開発へ ? Deep Learningにおいて、性能を決定づけるのはノウハウではなくデータ ? 企業の価値創造に求められるスキルセットが変化 ? 需要増：「何を実現すればよいか」を見出す能力、データを集める能力 ? 需要減： 機能分解型の設計ノウハウ 企業によっては戦略の見直しが必要に
10 AIは破壊的テクノロジー 半導体 デジタル コンピュータ インターネット クラウド （AI） 破壊的テクノロジーの特徴 ? 今まで難しかったことを簡単にする ? 応用範囲が極めて広い ? 技術の進歩が、技術の進歩自身を加速する ? 使う側に意識の変容を求める ? 広大な市場を創出する 早期の取り組みが極めて有利に働く
11 ソニーのDeep Learningへの取り組みと活用事例
12 ソニーのDeep Learningに対する取り組み Neural Network Libraries / Consoleにより、効率的なAI技術の研究開発を実現 2000年以前～ 機械学習の研究開発 2010年～ Deep Learningの研究開発 2011年～ 初代コアライブラリ 2013年～ 第二世代コアライブラリ 2016年～ 第3世代コアライブラリ Neural Network Libraries 2015年～ GUIツール 2010年～ Deep Learning開発者向けソフトウェアの開発 Deep Learningを用いた認識技術等の 開発者が用いるソフトウェア群 技術開発効率を圧倒的に向上 Neural Network Console 17/8/17 Windows版無償公開 18/5/9 クラウド版正式サービス開始 17/6/27 オープンソースとして公開
13 Neural Network Libraries / Consoleとは Neural Network Libraries ?Deep Learning研究開発者向けオープンソースフレーム ワーク（他社製既存Deep Learning FWに相当） ?コーディングを通じて利用→高い自由度 ?最先端の研究や製品への実装にも柔軟に対応 Neural Network Console ?研究や、商用レベルの技術開発に対応したDeep Learningツール ?様々なサポート機能→高い開発効率 ?GUIによるビジュアルな操作→敷居が低い 主なターゲット ?じっくりと研究?開発に取り組まれる方 ?プログラミング可能な研究、開発者 import nnabla as nn import nnabla.functions as F import nnabla.parametric_functions as PF x = nn.Variable(100) t = nn.Variable(10) h = F.tanh(PF.affine(x, 300, name='affine1')) y = PF.affine(h, 10, name='affine2') loss = F.mean(F.softmax_cross_entropy(y, t)) 主なターゲット ?特に開発効率を重視される方 ?はじめてDeep Learningに触れる方 研究開発における課題を解決し、Deep Learningの研究開発を効率化するソフトウェア 学習エンジンとして Neural Network Librariesを利用
14 Deep Learning 応用技術開発の流れ コアアルゴリズム開発 開発環境 商品技術開発 各事業会社 応用技術開発 R&D および 各事業会社 コア技術開発 R&D Neural Network Libraries/ Console ○○認識機等、各種Deep Learning応用技術の開発 各種製品、サービスへのDeep Learning応用技術の搭載 … 研究開発者だけではなく、各事業部の担当者が直接Deep Learningを活用 …
15 Neural Network Libraries / Consoleのソニーグループ内活用事例 価格推定 ソニー不動産の「不動産価格推定エンジン」に、Neural Network Librariesが使用されています。この技術を核として、ソニー不動産が持つ査定ノウハウ やナレッジをベースとした独自のアルゴリズムに基づいて膨大な量のデータを解析し、 不動産売買における成約価格を統計的に推定する本ソリューションが実現されました。 本ソリューションは、「おうちダイレクト」や、「物件探索マップ」「自動査定」な ど、ソニー不動産の様々なビジネスに活用されています。 ジェスチャー認識 ソニーモバイルコミュニケーションズの「Xperia Ear」の ヘッドジェスチャー認識機能にNeural Network Librariesが使用されています。「Xperia Ear」に搭載されているセンサーからのデータを元に、ヘッドジェスチャー認識機能に より、首を縦や横に振るだけで、「Xperia Ear」に搭載されているアシスタントに対し て「はい／いいえ」の応答や、着信の応答／拒否、通知の読み上げキャンセル、次／前 のトラックのスキップを行えます デジタルペーパー ソニーのデジタルペーパー「DPT-RP1」の手書きマーク検索 のうち、＊の認識にNeural Network Librariesが使用されています。文書を読んでいて 「ここが大切」「ここを後で読みたい」と思ったら、 ＊や☆のマークをさっと手書きし ます。手書きマークを認識する機能により、ページ数の多い文書でも、マークを付けた 箇所を素早く検索し、開くことができます。 既にソニーグループ内で多数の商品化?実用化実績
16
17 Neural Network Libraries/Console開発コンセプト ? 大幅に不足していると言われるDeep Learningの研究開発者を育成する ? これからDeep Learningを始ようとするユーザにとっての敷居をとことん下げる ? 使っている間に、いつのまにかDeep Learningのエキスパートへ ? Deep Learningの研究開発者に、目的達成のためのハイウェイを提供する ? 最先端研究?商用レベルの技術開発に必要なツールを提供する ? Deep Learningの研究開発における面倒を機能で徹底的に解決し、高い開発効率を実現する 初心者にとってもエキスパートへのショートカットとして機能する
18 Neural Network Libraries最新情報 ? 17/6/27 v0.9.1 最初のOSSバージョン ? 17/7/22 v0.9.2 Python 3のサポート ? 17/8/3 v0.9.3 マルチGPUのサポート ? 17/8/22 v0.9.4 C++のみによる推論機能 ? 17/11/8 v0.9.5 MacOSビルドの正式対応など多数の改善 ? 17/11/27 v0.9.6 マルチノードのサポート ? 17/12/7 v0.9.7 様々な改善 ? 18/3/6 v0.9.8 分散学習の改善 ? 18/3/28 v0.9.9 Mixed Precision学習対応 ? 18/6/27 v1.0.0 ONNX対応、C++学習機能、C Runtime機能、ほか様々な改善 nnabla.org github.com/sony/nnabla https://github.com/sony/nnabla/releases https://github.com/sony/nnabla-ext-cuda/releases より使いやすく、より高速に、より幅広い環境で利用可能に
19 Neural Network Console最新情報 ? ニューラルネットワークの学習には膨大な演算が必要 ? 必要な演算量は主に扱うデータの量とニューラルネットワークの 構造に依存 ? GPU、マルチGPUを用いると、学習完了までの時間を 大幅に短縮できる ? ネットワークにもよるが、10倍～数百倍高速に学習できる ? 同じ開発期間でより多くの試行錯誤を行うことが可能に ? 環境のセットアップ、メンテナンス作業不要で豊富な GPUリソースを利用可能 ? 開発者はDeep Learningの開発作業に集中できる 最先端研究者と同等の環境（1ジョブあたり8GPU×無制限の並列利用）をGUI環境から利用可能 ※計算リソース利用料は 学習?評価実行中のみの従量課金
20 Neural Network Libraries/Console 優れたDeep Learningの開発環境を提供し、需要の急拡大するAI技術の普及?発展に貢献 Neural Network Libraries https://nnabla.org/ Neural Network Console https://dl.sony.com/ import nnabla as nn import nnabla.functions as F import nnabla.parametric_functions as PF x = nn.Variable(100) t = nn.Variable(10) h = F.tanh(PF.affine(x, 300, name='affine1')) y = PF.affine(h, 10, name='affine2') loss = F.mean(F.softmax_cross_entropy(y, t)) 実現 ? Deep Learning技術者の迅速な育成 ? 効率的なDeep Learning応用技術の研究開発～実用化 様々な特長を兼ね備えた最新世代のDeep Learningフレームワーク 商用クオリティのDeep Learning応用技術開発を実現する統合開発環境
21 まとめ Deep Learningは圧倒的に高い性能を実現するだけではなく、簡単で汎用。 今後急速な活用?普及拡大が予想される Deep Learningの開発はデータトリブンなEnd-to-end学習。 従来からの技術開発の在り方を変える ソニーではNeural Network Libraries/Consoleを社内に展開することで、 効率的なDeep Learning人材の育成と応用技術の開発、実用化を実現してきた ゲームチェンジを受け入れ、飛躍につなげるためには早期の取り組みが重要。 積極活用し、より豊かな社会の実現を
SONYはソニー株式会社の登録商標または商標です。 各ソニー製品の商品名?サービス名はソニー株式会社またはグループ各社の登録商標または商標です。その他の製品および会社名は、各社の商号、登録商標または商標です。

More Related Content

2018/07/26 Game change by Deep Learning and tips to make a leap

  • 1. THE AI 2018 2nd ソニーネットワークコミュニケーションズ株式会社 / ソニー株式会社 シニアマシンラーニングリサーチャー 小林 由幸 Deep Learningのもたらすゲームチェンジと、 飛躍へのヒント
  • 2. 2 自己紹介 小林 由幸 1999年にソニーに入社、2003年より機械学習 技術の研究開発を始め、音楽解析技術「12音 解析」のコアアルゴリズム、認識技術の自動 生成技術「ELFE」などを開発。近年は 「Neural Network Console」を中心にディー プラーニング関連の技術?ソフトウェア開発 を進める一方、機械学習普及促進や新しいア プリケーションの発掘にも注力。 こばやし よしゆき
  • 4. 4 28.2 25.8 26.1 16.4 11.7 6.7 3.57 2.99 2.25 1 10 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 Top-5ErrorRate[%] Year Deep Learning従来型 機械学習 圧倒的な認識性能を示すDeep Learning 従来の性能限界を打ち破り、数々の課題で人を超える性能を達成しつつある 人の認識誤差 ？ 画像認識における精度向上 年率50%に迫る 誤差の改善
  • 6. 6 Deep Learningを用い、認識機を作成するために必要な作業 … … … … … … … 画像認識機 （Neural Network） Input：画像 Output：画像認識結果 「2」 1. データセットを用意する 入力と、期待する出力のペアを多数用意 （教材の準備に相当） 2. ニューラルネットワークの構造を 設計する（脳の構造設計に相当） 3. 用意したデータセットで、設計した ニューラルネットワークを学習する 従来の機械学習手法と比較して、高い性能を実現できると同時に扱いやすい技術でもある … 「0」 … 「1」 … 「2」 … 「3」 … 「4」 … 「5」 … 「6」 … 「7」 … 「8」 … 「9」
  • 7. 7 入出力次第で広がるDeep Learningの活用 …入力 出力 実現する機能 入力 出力 画像認識 画像 カテゴリ 文章の自動仕分け 文章 文章カテゴリ 音声認識 音声 文字列 機械翻訳 英単語列 日単語列 人工無能（チャットボット） 入力発話の単語列 期待応答の単語列 画像加工 入力画像 出力画像 ロボット制御 ロボットのセンサ ロボットのアクチュエーター … Deep Learningは高い汎用性を備えた技術。応用範囲はどんどん広がっている 実現する機能
  • 8. 8 Deep Learningにより大きく変わる機能開発の概念 従来 機能をモジュールに分解して開発 Deep Learning時代 End-to-end学習 ? 必要な機能をモジュールに分解（設計） ? プログラムにより各モジュールを実装 実現できる機能の複雑さ∝プログラム量 ? 入力から出力を得る機能をデータからの 学習で直接獲得 実現できる機能の複雑さ∝データ量 高機能、高性能を実現するために求められるものは、設計ノウハウからデータに 画像勾配計算 手書き数字認識 画像特徴抽出前処理 ヒストグラム 判別分析
  • 9. 9 Deep Learningのもたらすゲームチェンジ ? Deep Learningは簡単。知的処理の開発は、一般の技術者でも十分可能に ? Deep Learningは汎用。画像認識以外にも様々な機能を実現できる ? 機能分解型の設計から、End-to-End学習による機能開発へ ? Deep Learningにおいて、性能を決定づけるのはノウハウではなくデータ ? 企業の価値創造に求められるスキルセットが変化 ? 需要増：「何を実現すればよいか」を見出す能力、データを集める能力 ? 需要減： 機能分解型の設計ノウハウ 企業によっては戦略の見直しが必要に
  • 10. 10 AIは破壊的テクノロジー 半導体 デジタル コンピュータ インターネット クラウド （AI） 破壊的テクノロジーの特徴 ? 今まで難しかったことを簡単にする ? 応用範囲が極めて広い ? 技術の進歩が、技術の進歩自身を加速する ? 使う側に意識の変容を求める ? 広大な市場を創出する 早期の取り組みが極めて有利に働く
  • 12. 12 ソニーのDeep Learningに対する取り組み Neural Network Libraries / Consoleにより、効率的なAI技術の研究開発を実現 2000年以前～ 機械学習の研究開発 2010年～ Deep Learningの研究開発 2011年～ 初代コアライブラリ 2013年～ 第二世代コアライブラリ 2016年～ 第3世代コアライブラリ Neural Network Libraries 2015年～ GUIツール 2010年～ Deep Learning開発者向けソフトウェアの開発 Deep Learningを用いた認識技術等の 開発者が用いるソフトウェア群 技術開発効率を圧倒的に向上 Neural Network Console 17/8/17 Windows版無償公開 18/5/9 クラウド版正式サービス開始 17/6/27 オープンソースとして公開
  • 13. 13 Neural Network Libraries / Consoleとは Neural Network Libraries ?Deep Learning研究開発者向けオープンソースフレーム ワーク（他社製既存Deep Learning FWに相当） ?コーディングを通じて利用→高い自由度 ?最先端の研究や製品への実装にも柔軟に対応 Neural Network Console ?研究や、商用レベルの技術開発に対応したDeep Learningツール ?様々なサポート機能→高い開発効率 ?GUIによるビジュアルな操作→敷居が低い 主なターゲット ?じっくりと研究?開発に取り組まれる方 ?プログラミング可能な研究、開発者 import nnabla as nn import nnabla.functions as F import nnabla.parametric_functions as PF x = nn.Variable(100) t = nn.Variable(10) h = F.tanh(PF.affine(x, 300, name='affine1')) y = PF.affine(h, 10, name='affine2') loss = F.mean(F.softmax_cross_entropy(y, t)) 主なターゲット ?特に開発効率を重視される方 ?はじめてDeep Learningに触れる方 研究開発における課題を解決し、Deep Learningの研究開発を効率化するソフトウェア 学習エンジンとして Neural Network Librariesを利用
  • 14. 14 Deep Learning 応用技術開発の流れ コアアルゴリズム開発 開発環境 商品技術開発 各事業会社 応用技術開発 R&D および 各事業会社 コア技術開発 R&D Neural Network Libraries/ Console ○○認識機等、各種Deep Learning応用技術の開発 各種製品、サービスへのDeep Learning応用技術の搭載 … 研究開発者だけではなく、各事業部の担当者が直接Deep Learningを活用 …
  • 15. 15 Neural Network Libraries / Consoleのソニーグループ内活用事例 価格推定 ソニー不動産の「不動産価格推定エンジン」に、Neural Network Librariesが使用されています。この技術を核として、ソニー不動産が持つ査定ノウハウ やナレッジをベースとした独自のアルゴリズムに基づいて膨大な量のデータを解析し、 不動産売買における成約価格を統計的に推定する本ソリューションが実現されました。 本ソリューションは、「おうちダイレクト」や、「物件探索マップ」「自動査定」な ど、ソニー不動産の様々なビジネスに活用されています。 ジェスチャー認識 ソニーモバイルコミュニケーションズの「Xperia Ear」の ヘッドジェスチャー認識機能にNeural Network Librariesが使用されています。「Xperia Ear」に搭載されているセンサーからのデータを元に、ヘッドジェスチャー認識機能に より、首を縦や横に振るだけで、「Xperia Ear」に搭載されているアシスタントに対し て「はい／いいえ」の応答や、着信の応答／拒否、通知の読み上げキャンセル、次／前 のトラックのスキップを行えます デジタルペーパー ソニーのデジタルペーパー「DPT-RP1」の手書きマーク検索 のうち、＊の認識にNeural Network Librariesが使用されています。文書を読んでいて 「ここが大切」「ここを後で読みたい」と思ったら、 ＊や☆のマークをさっと手書きし ます。手書きマークを認識する機能により、ページ数の多い文書でも、マークを付けた 箇所を素早く検索し、開くことができます。 既にソニーグループ内で多数の商品化?実用化実績
  • 16. 16
  • 17. 17 Neural Network Libraries/Console開発コンセプト ? 大幅に不足していると言われるDeep Learningの研究開発者を育成する ? これからDeep Learningを始ようとするユーザにとっての敷居をとことん下げる ? 使っている間に、いつのまにかDeep Learningのエキスパートへ ? Deep Learningの研究開発者に、目的達成のためのハイウェイを提供する ? 最先端研究?商用レベルの技術開発に必要なツールを提供する ? Deep Learningの研究開発における面倒を機能で徹底的に解決し、高い開発効率を実現する 初心者にとってもエキスパートへのショートカットとして機能する
  • 18. 18 Neural Network Libraries最新情報 ? 17/6/27 v0.9.1 最初のOSSバージョン ? 17/7/22 v0.9.2 Python 3のサポート ? 17/8/3 v0.9.3 マルチGPUのサポート ? 17/8/22 v0.9.4 C++のみによる推論機能 ? 17/11/8 v0.9.5 MacOSビルドの正式対応など多数の改善 ? 17/11/27 v0.9.6 マルチノードのサポート ? 17/12/7 v0.9.7 様々な改善 ? 18/3/6 v0.9.8 分散学習の改善 ? 18/3/28 v0.9.9 Mixed Precision学習対応 ? 18/6/27 v1.0.0 ONNX対応、C++学習機能、C Runtime機能、ほか様々な改善 nnabla.org github.com/sony/nnabla https://github.com/sony/nnabla/releases https://github.com/sony/nnabla-ext-cuda/releases より使いやすく、より高速に、より幅広い環境で利用可能に
  • 19. 19 Neural Network Console最新情報 ? ニューラルネットワークの学習には膨大な演算が必要 ? 必要な演算量は主に扱うデータの量とニューラルネットワークの 構造に依存 ? GPU、マルチGPUを用いると、学習完了までの時間を 大幅に短縮できる ? ネットワークにもよるが、10倍～数百倍高速に学習できる ? 同じ開発期間でより多くの試行錯誤を行うことが可能に ? 環境のセットアップ、メンテナンス作業不要で豊富な GPUリソースを利用可能 ? 開発者はDeep Learningの開発作業に集中できる 最先端研究者と同等の環境（1ジョブあたり8GPU×無制限の並列利用）をGUI環境から利用可能 ※計算リソース利用料は 学習?評価実行中のみの従量課金
  • 20. 20 Neural Network Libraries/Console 優れたDeep Learningの開発環境を提供し、需要の急拡大するAI技術の普及?発展に貢献 Neural Network Libraries https://nnabla.org/ Neural Network Console https://dl.sony.com/ import nnabla as nn import nnabla.functions as F import nnabla.parametric_functions as PF x = nn.Variable(100) t = nn.Variable(10) h = F.tanh(PF.affine(x, 300, name='affine1')) y = PF.affine(h, 10, name='affine2') loss = F.mean(F.softmax_cross_entropy(y, t)) 実現 ? Deep Learning技術者の迅速な育成 ? 効率的なDeep Learning応用技術の研究開発～実用化 様々な特長を兼ね備えた最新世代のDeep Learningフレームワーク 商用クオリティのDeep Learning応用技術開発を実現する統合開発環境
  • 21. 21 まとめ Deep Learningは圧倒的に高い性能を実現するだけではなく、簡単で汎用。 今後急速な活用?普及拡大が予想される Deep Learningの開発はデータトリブンなEnd-to-end学習。 従来からの技術開発の在り方を変える ソニーではNeural Network Libraries/Consoleを社内に展開することで、 効率的なDeep Learning人材の育成と応用技術の開発、実用化を実現してきた ゲームチェンジを受け入れ、飛躍につなげるためには早期の取り組みが重要。 積極活用し、より豊かな社会の実現を