Ai neuro science_pdf
- 1. ＡＩと脳科学の関係 Neuroscience-Inspired Artifical Inteligence Demis Hasasbis@DeepMind 2017/07/19 mabonki0725 @AIIT
- 2. 本論文の選択理由 ? 深層学習のブレイクでＡＩ分野が急速に発展 ? 複雑なソフトはＡＩと云うバブルの様相が出現 ? ＡＩへの参入が容易になる一方、ＡＩについて 様々な考え方が流布 ? ＡＩに対する本質的な考え方を掴むため、アル ファ碁を開発した脳科学者であるHassabisの サーベイ論文をレビューする
- 3. 機械学習の歴史 1)2000年頃までは古典的な頻度統計が主流だった ? データが貴重で計算機のパワーも低い時代の統計 ? 結果の評価として仮説検定やP値など解釈が難解であった 2)2000年以降ベイズ統計が発展する ? 豊富なデータと計算機パワーで繰返し計算でモデルを精緻化する ? 生成モデル(非教師学習)で隠れた変数を導入することに成功 3)DeepLearningの特徴量抽出能力が認識される(2012) ? Hintonの教師なしモデル（RBM)が飛躍的に性能を向上させる 4)強化学習＋DeepLearningのDQNが出現 ? DeepMind社が状況認識と適応行動を合体する(2013) ? 計算機どうし対戦で性能を向上させる（Alpha碁） (Hassabis 2014) 5)VAE:DeepLearningの生成モデル(Kingma 2016) GAN:DeepLearningの敵対モデル(Goodfellow2016) 6)棋譜学習をせず敵対学習だけのAlpha碁ゼロ(2017)3
- 4. 本論の概要(1) 1. 脳科学とAIの関係 2. 過去：脳科学からのAIの発展 2.1 DeepLearning 2.2 強化学習 3. 現在：脳科学とAIの関係 3.1 Attention 3.2 Episodic Memory 3.3 Working Memory 3.4 継続学習(ContinualLearing)
- 5. 本論の概要(2) 4. 将来：脳科学からのAI 4.1 本能的理解(Intuitive Understanding) 4.2 効果学習(Efficient Learning) 4.3 転移学習(Transfer Learnng) 4.4 計画学習(Imagination and Planning) 4.5 脳図解析(Virtual Brain Analysis) 5. AIから脳科学へ 6. 本論で言及してない進展 7. 今後の研究方針
- 6. １．脳科学とAI ? 黎明期のAIは脳科学の一部だったが、双方 が独自に発展し初めると接点が少なくなった ? 脳を模擬して人間に近いAIを実現するのは 難しいが、脳科学からは様々な示唆がある – (Inspriation)脳科学の知見をAIに反映する – (Validation)AIでの知見が脳にあるか調べる ? 脳科学とAIの関係を過去、現在、未来で俯瞰 してみる
- 7. 2. 過去：脳科学からのAIの発展 脳科学を反映した偉大な２つの柱 深層学習と強 化学習がある 2.1 深層学習 DeepLearning – 脳神経を模したNeuronを開発(McCulloch Pitts1943) ? 脳神経を正確に模したneuromorphic(2016)がある – 逆伝播モデルで非線形問題を解く(Rumelhart 1985) – 多層モデルは勾配が途中で消失するので不安定 – 並列分散処理(PDP)で勾配消失を防ぎ多層化実現 – CNNで高精度な深層学習を実現(Hinton 1986)
- 8. 2. 過去：脳科学からのAIの発展 2.2 強化学習 RL(reinforcement Learning) – 動物の行動学習のTD(時間差)から発展(Sutton 1998) – 一般的に偏微分して状況の価値を繰返し学習(Q関数の近似) TD 報酬 注 最近は高速化と精緻化のため、方策π学習とQ学習を分けたActor Criticが主流
- 9. 3. 現在：脳科学とAIの関係 3.1 Attention 多様な入力情報を集約する方法 –人間は情景を集約し一瞥するだけで理解できる –会話(翻訳）モデルでは一連の情報を集約して学習時に入 れると効果的に学習できる(Att型seq2seq)
- 10. 3. 現在：脳科学とAI 3.2 Episode Memory 過去の経験を効率的に使う – 人間は記憶によって過去の経験を効率的に利用する – 得点型DQNや迷路型UNREALでは過去の成果を保存して 学習する UNREAL UNsupervised REinforcement Auxiliary Learning
- 11. 3. 現在：脳科学とAIの関係 3.3 Working Memory 外部知識による学習 – 人間は記憶された情報を知識として利用する – 時系列モデルLSTM：記憶のゲートを逆伝播法で調整する – ＮＴMやDNCは外部メモリーとその読書きHeaderを深層学習で訓練 する。この汎用性は後にLie群上の写像として実証 ? NTM:Nural Turing Machine 情報の逆ソートや一定間隔の取出し ? DNC:Deep Nerual Computer Q/A会話やルート検索する 拡大 DNCLSTM
- 12. 3. 現在：脳科学とAIの関係 ? 3.4 継続学習 – 深層学習の最適化過程では前に戻れない – 人間は過去の学習を再開してスキルアップできる – 脳の可塑的な仕掛けを反映したEWCモデル http://mabonki0725.hatenablog.com/entry/2017/08/08/064844 (Elastic Weigtht Consolitation) TaskAの方向に沿っ てTaskBを解く
- 13. 4 将来：脳科学からのＡＩ 4.1 環境適用への本能的理解 – 幼児は教えられなくとも環境を認識する ? 幼児には先天的な認識力(prior)が備わっており、視覚から徐々に環境の状 態を学習する – 教師なし推論としてベイズ定理による生成モデルで実証する – 手書き文字と位置の認識 手書文字：VAE 位置関係： LSTM ? VAE(Variational Auto Encoder) ベイズ定理の代わりに深層学習を用いる prior 視覚データ 環境下での修正 http://mabonki0725.hatenablog.com/entry/2017/08/23/082012 LSTM VAE
- 14. 4 将来：脳科学からのＡＩ 4.2 効率的学習 Effective Learning – 人間は少ない経験で新しい概念を見つける – one-shot 生成モデルで経験から概念を獲得する http://mabonki0725.hatenablog.com/entry/2017/07/13/042205 Color Shape 青い箱 緑の箱 赤い球 青い円柱 赤い球 赤い箱 緑の半球柱 紫の球 学習 One-shot 蝕手に色と形を教える 推論 蝕手が新たな色と形を 判断する
- 15. 4 将来：脳科学からのＡＩ 4.3 転移学習 Transfer Learning – 人間の経験は未体験の環境でも使える – 転移学習は対象は同様だが環境が異なる ? 深層学習型?生成モデルVAEによる隠れ変数の学習 ? ２系列の深層学習の途中段階の環境の相違を学習 http://mabonki0725.hatenablog.com/entry/2017/08/12/091703http://mabonki0725.hatenablog.com/entry/2017/08/06/095117
- 16. 4 将来：脳科学からのＡＩ ? 4.4 計画学習 Imagination and Planning – 人間は将来を予測して合理的な計画で行動する – RLによる倉庫ゲーム（ランダムに行動すると道を塞ぐ) ? 強化学習によって階層系列を生成して最適行動する http://mabonki0725.hatenablog.com/entry/2017/07/28/110342
- 17. 4 将来：脳科学からのＡＩ ? 4.5 脳図解析 Virtual Brain Analysis – 複雑な深層ネットワークの状態と脳内の状態と比 較して双方の状態の解釈が容易になる
- 18. 5. AIから脳科学へ ? AIの知見を脳科学に反映 – 強化学習のTD特性を脳中枢のドーパミン神経の 信号との比較 – CNNの汎用特性を視覚野の研究に寄与させる – LSTMのゲートモデルで前頭葉皮質をモデル化 ? 逆伝播が脳内で観察できない理由の解明 – 深層学習モデルが中途の段階で発展できる証拠 ? 局所的深層学習が不可能 – 階層的VAEの実現
- 19. 6. 本論で言及してない進展 本論の発表(2018/07)以降での重大な進展 6.1 様々なDQNの統合型Rainbow 6.2 アルファ碁ゼロ 6.3 深層生成モデルVAEとGANの隆盛 6.4 ロボテックの発展 6.5 自然言語の意味理解 文章?画像
- 20. 6.1 様々なDQNの統合型Rainbow ? DQNは特定のゲームに適用→派生のDQN ? 派生のDQNを統合したRainbowを発表 人間のレベル DQNのGAME別得点 DQNの派生 Rainbowの精度
- 21. 6.2 アルファ碁ゼロ ? 棋譜学習（教師モデル）をせず敵対学習のみ で熟達するアルファ碁ゼロの出現 「我々は人類が千年かかって作りあげた 碁の知識をたった数日間で達成した！」 アルファ碁 棋譜モデルと敵対モデル アルファ碁ゼロ PとＶ同時モデル http://mabonki0725.hatenablog.com/entry/2018/02/16/090153 勝敗予測
- 22. 6.3 深層生成モデルVAEとGANの隆盛 ? 深層学習による生成モデル VAEとGAN ? GANは実装が簡単なため派生版が200程度ある VAE(Variational Auto Encoder) GAN(Generative Adversarial Network)
- 23. 6.4 ロボテックの発展 ? DeepMindは実機には殆ど実績がない – 誤差が無いゲームや碁での特異点を目指す DQN方式 ? 誤差がありアナログ制御が必要な実機での実績 – 誤差を移動観察によって修正するモデル ? SLAMや粒子フィルターがROS上で公開され発展 – Abbeel（逆強化学習の先駆者）率いるロボットモデル ? ゲームと異なり細かい制御の強化学習モデル TrustRigion方式 ? LQRと機械学習の統合モデルGPSを発表(2015) 粒子フィルターによる自動運転 GPS(Guid Policy Search)
- 24. 6.5 自然言語の意味理解 文章?画像 ? 従来の自然言語は記号変換が主流で意味解 析が不可能であった ? 自然言語と画像の対応関係が生成でき意味 を反映できる様になった 画像→文章 文章→画像 英語→画像→日本語
- 25. 7. 今後の研究方針 ? 現状のAIは理論ではなく公開コードで実証され発展 （理論が追いつかない） ? 実装し応用するのがCatchUpとして最短 – Yolo?SegNet?OpenPose等の動画での公開プログラム の精度が凄い→実装し応用 – DeepMindの発表は殆どコードが公開 – 実機でのＡＩ環境が必要(ドローン PRED ScaraARM) Yolo SegNet OpenPose