狠狠撸

ＡＩと脳科学の関係
Neuroscience-Inspired Artifical Inteligence
Demis Hasasbis@DeepMind
2017/07/19
mabonki0725 @AIIT

本論文の選択理由
? 深層学習のブレイクでＡＩ分野が急速に発展
? 複雑なソフトはＡＩと云うバブルの様相が出現
? ＡＩへの参入が容易になる一方、ＡＩについて
様々な考え方が流布
? ＡＩに対する本質的な考え方を掴むため、アル
ファ碁を開発した脳科学者であるHassabisの
サーベイ論文をレビューする

機械学習の歴史
1)2000年頃までは古典的な頻度統計が主流だった
? データが貴重で計算機のパワーも低い時代の統計
? 結果の評価として仮説検定やP値など解釈が難解であった
2)2000年以降ベイズ統計が発展する
? 豊富なデータと計算機パワーで繰返し計算でモデルを精緻化する
? 生成モデル(非教師学習)で隠れた変数を導入することに成功
3)DeepLearningの特徴量抽出能力が認識される(2012)
? Hintonの教師なしモデル（RBM)が飛躍的に性能を向上させる
4)強化学習＋DeepLearningのDQNが出現
? DeepMind社が状況認識と適応行動を合体する(2013)
? 計算機どうし対戦で性能を向上させる（Alpha碁）　(Hassabis 2014)
5)VAE:DeepLearningの生成モデル(Kingma 2016)
GAN:DeepLearningの敵対モデル(Goodfellow2016)
6)棋譜学習をせず敵対学習だけのAlpha碁ゼロ(2017)3

本論の概要(1)
1. 脳科学とAIの関係
2. 過去：脳科学からのAIの発展
2.1 DeepLearning
2.2 強化学習
3. 現在：脳科学とAIの関係
3.1 Attention
3.2 Episodic Memory
3.3 Working Memory
3.4 継続学習(ContinualLearing)

本論の概要(2)
4. 将来：脳科学からのAI
4.1 本能的理解(Intuitive Understanding)
4.2 効果学習(Efficient Learning)
4.3 転移学習(Transfer Learnng)
4.4 計画学習(Imagination and Planning)
4.5 脳図解析(Virtual Brain Analysis)
5. AIから脳科学へ
6. 本論で言及してない進展
7. 今後の研究方針

１．脳科学とAI
? 黎明期のAIは脳科学の一部だったが、双方
が独自に発展し初めると接点が少なくなった
? 脳を模擬して人間に近いAIを実現するのは
難しいが、脳科学からは様々な示唆がある
– (Inspriation)脳科学の知見をAIに反映する
– (Validation)AIでの知見が脳にあるか調べる
? 脳科学とAIの関係を過去、現在、未来で俯瞰
してみる

2.　過去：脳科学からのAIの発展
脳科学を反映した偉大な２つの柱　深層学習と強
化学習がある
2.1 深層学習 DeepLearning
– 脳神経を模したNeuronを開発(McCulloch Pitts1943)
? 脳神経を正確に模したneuromorphic(2016)がある
– 逆伝播モデルで非線形問題を解く(Rumelhart 1985)
– 多層モデルは勾配が途中で消失するので不安定
– 並列分散処理(PDP)で勾配消失を防ぎ多層化実現
– CNNで高精度な深層学習を実現(Hinton 1986)

2.　過去：脳科学からのAIの発展
2.2 強化学習 RL(reinforcement Learning)
– 動物の行動学習のTD(時間差)から発展(Sutton 1998)
– 一般的に偏微分して状況の価値を繰返し学習(Q関数の近似)
TD
報酬
注最近は高速化と精緻化のため、方策π学習とQ学習を分けたActor Criticが主流

3.1 Attention 多様な入力情報を集約する方法
–人間は情景を集約し一瞥するだけで理解できる
–会話(翻訳）モデルでは一連の情報を集約して学習時に入
れると効果的に学習できる(Att型seq2seq)

3. 現在：脳科学とAI
3.2 Episode Memory 過去の経験を効率的に使う
– 人間は記憶によって過去の経験を効率的に利用する
– 得点型DQNや迷路型UNREALでは過去の成果を保存して
学習する
UNREAL
UNsupervised
REinforcement Auxiliary
Learning

3.3 Working Memory 外部知識による学習
– 人間は記憶された情報を知識として利用する
– 時系列モデルLSTM：記憶のゲートを逆伝播法で調整する
– ＮＴMやDNCは外部メモリーとその読書きHeaderを深層学習で訓練
する。この汎用性は後にLie群上の写像として実証
? NTM:Nural Turing Machine 　情報の逆ソートや一定間隔の取出し
? DNC:Deep Nerual Computer Q/A会話やルート検索する
拡大
DNCLSTM

? 3.4 継続学習
– 深層学習の最適化過程では前に戻れない
– 人間は過去の学習を再開してスキルアップできる
– 脳の可塑的な仕掛けを反映したEWCモデル
http://mabonki0725.hatenablog.com/entry/2017/08/08/064844
(Elastic Weigtht Consolitation)
TaskAの方向に沿っ
てTaskBを解く

4 将来：脳科学からのＡＩ
4.1 環境適用への本能的理解
– 幼児は教えられなくとも環境を認識する
? 幼児には先天的な認識力(prior)が備わっており、視覚から徐々に環境の状
態を学習する
– 教師なし推論としてベイズ定理による生成モデルで実証する
– 手書き文字と位置の認識手書文字：VAE 位置関係： LSTM　
? VAE(Variational Auto Encoder) ベイズ定理の代わりに深層学習を用いる
prior
視覚データ
環境下での修正
LSTM
VAE

4.2 効率的学習　Effective Learning
– 人間は少ない経験で新しい概念を見つける
– one-shot 生成モデルで経験から概念を獲得する
Color Shape
青い箱
緑の箱
赤い球
青い円柱
赤い球
赤い箱
緑の半球柱
紫の球
学習
One-shot
蝕手に色と形を教える
推論
蝕手が新たな色と形を
判断する

4.3 転移学習　Transfer Learning
– 人間の経験は未体験の環境でも使える
– 転移学習は対象は同様だが環境が異なる
? 深層学習型?生成モデルVAEによる隠れ変数の学習
? ２系列の深層学習の途中段階の環境の相違を学習
http://mabonki0725.hatenablog.com/entry/2017/08/12/091703http://mabonki0725.hatenablog.com/entry/2017/08/06/095117

? 4.4 計画学習　Imagination and Planning
– 人間は将来を予測して合理的な計画で行動する
– RLによる倉庫ゲーム（ランダムに行動すると道を塞ぐ)
? 強化学習によって階層系列を生成して最適行動する

? 4.5 脳図解析　Virtual Brain Analysis
– 複雑な深層ネットワークの状態と脳内の状態と比
較して双方の状態の解釈が容易になる

5. AIから脳科学へ
? AIの知見を脳科学に反映
– 強化学習のTD特性を脳中枢のドーパミン神経の
信号との比較
– CNNの汎用特性を視覚野の研究に寄与させる
– LSTMのゲートモデルで前頭葉皮質をモデル化
? 逆伝播が脳内で観察できない理由の解明
– 深層学習モデルが中途の段階で発展できる証拠
? 局所的深層学習が不可能
– 階層的VAEの実現

6. 本論で言及してない進展
本論の発表(2018/07)以降での重大な進展
6.1 様々なDQNの統合型Rainbow
6.2 アルファ碁ゼロ
6.3 深層生成モデルVAEとGANの隆盛
6.4 ロボテックの発展
6.5 自然言語の意味理解　文章?画像

6.1 様々なDQNの統合型Rainbow
? DQNは特定のゲームに適用→派生のDQN
? 派生のDQNを統合したRainbowを発表
人間のレベル
DQNのGAME別得点 DQNの派生 Rainbowの精度

6.2 アルファ碁ゼロ
? 棋譜学習（教師モデル）をせず敵対学習のみ
で熟達するアルファ碁ゼロの出現
「我々は人類が千年かかって作りあげた
碁の知識をたった数日間で達成した！」
アルファ碁　棋譜モデルと敵対モデル
アルファ碁ゼロ　PとＶ同時モデル http://mabonki0725.hatenablog.com/entry/2018/02/16/090153
勝敗予測

6.3 深層生成モデルVAEとGANの隆盛
? 深層学習による生成モデル　VAEとGAN
? GANは実装が簡単なため派生版が200程度ある
VAE(Variational Auto Encoder) GAN(Generative Adversarial Network)

6.4 ロボテックの発展
? DeepMindは実機には殆ど実績がない
– 誤差が無いゲームや碁での特異点を目指す　DQN方式
? 誤差がありアナログ制御が必要な実機での実績
– 誤差を移動観察によって修正するモデル
? SLAMや粒子フィルターがROS上で公開され発展
– Abbeel（逆強化学習の先駆者）率いるロボットモデル
? ゲームと異なり細かい制御の強化学習モデル　TrustRigion方式
? LQRと機械学習の統合モデルGPSを発表(2015)
粒子フィルターによる自动运転 GPS(Guid Policy Search)

6.5 自然言語の意味理解　文章?画像
? 従来の自然言語は記号変換が主流で意味解
析が不可能であった
? 自然言語と画像の対応関係が生成でき意味
を反映できる様になった
画像→文章文章→画像英語→画像→日本語

7. 今後の研究方針
? 現状のAIは理論ではなく公開コードで実証され発展
（理論が追いつかない）
? 実装し応用するのがCatchUpとして最短
– Yolo?SegNet?OpenPose等の動画での公開プログラム
の精度が凄い→実装し応用
– DeepMindの発表は殆どコードが公開
– 実機でのＡＩ環境が必要(ドローン PRED ScaraARM)
Yolo SegNet OpenPose

狠狠撸

Ai neuro science_pdf

Recommended

More Related Content

More from Masato Nakai (20)

Ai neuro science_pdf