2021.1.28 understanding brain
- 1. 1 「脳を理解するとはどういうことか？」 「どうすれば脳を理解できるのか？」 ● Jonas, Eric, and Konrad Paul Kording. "Could a neuroscientist understand a microprocessor?." PLoS computational biology 13.1 (2017): e1005268. ● Timothy P. Lillicrap, Konrad P. Kording(2019) “What does it mean to understand a neural network?” ● Buzsáki, Gy?rgy. The Brain from Inside Out. Oxford University Press, 2019. ● Krakauer, John W., et al. "Neuroscience needs behavior: correcting a reductionist bias." Neuron 93.3 (2017): 480-490. ● Saxe, A., Nelli, S., & Summerfield, C. (2020). “If deep learning is the answer, what is the question?”. Nature Reviews Neuroscience, 1-13. ● Hasson, Uri, Samuel A. Nastase, and Ariel Goldstein. "Direct fit to nature: An evolutionary perspective on biological and artificial neural networks." Neuron 105.3 (2020): 416-434. 一見、漠然としてナイーブな問いに思えるが、神経科学者たちは真剣に議論している。 たとえば、以下のようなオピニオン論文?本が相次いで書かれている。 どのように脳を「理解」していけばいいのか、神経科学者たち自身が模索している。 本発表では、そこで何が議論されているのか、駆け足で見ていく。 最終更新 28.1.2021 by 丸山隆一（@rmaruy） この資料は専門家のレビューを受けていません。引用の際は原論文に当たっていただくようお願いします。コメント歓迎です！
- 2. 2 目次 1. 脳を理解する方法は自明ではない（Jonas & Kording 2017） 2. 標準的なフレームワーク：Marr の 3 レベル 3. Marr を超えて（1）: ニューラルネットとしての脳 4. Marr を超えて（2）: Buzsaki の批判 5. まとめ： 多元的で動的なゴールとしての脳理解
- 3. 1. 脳を理解する方法は自明ではない （Jonas & Kording 2017） 3 脳を理解するうえで最も難しいのは、「何をもって脳の理解とするか」が自明ではないこと。そのことを 象徴するユニークな研究を紹介する。
- 4. 4 Jonas and Kording. (2017) "Could a neuroscientist understand a microprocessor?." PLoS computational biologyhttps://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1005268 「神経科学者はマイクロプロセッサを理解できたか？」と題された論文で、 Jonasらはマ イクロプロセッサを脳に見立て、神経科学の手法でその動作原理を解明できるかを試し た。 全3510個のトランジスタレベルのシミュレータを利用した，仮想的な「神経科学実験」 Jonas & Kording（2017）がマイクロプロセッサに対して試みた解析 （本表は鈴木力憲氏と共同作成） Fig 2：Optical reconstruction of the microprocessor to obtain its connectome. 出典 ：https://doi.org/10.1371/journal.pcbi.1005268.g002 （?2017 Jonas & Kording, CC-BY 4.0）
- 5. 5 Jonas and Kording. (2017) "Could a neuroscientist understand a microprocessor?." PLoS computational biologyhttps://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1005268 Fig 4：Lesioning every single transistor to identify function. 出典 ：https://doi.org/10.1371/journal.pcbi.1005268.g004（?2017 Jonas & Kording, CC-BY 4.0） たとえば「損傷研究」では、三つのゲーム（ドンキーコング、スペースインベーダー、ピットフォール）のプレイ画面 がマイクロプロセッサによって再生されることを 3種類の「行動」とみなし、 3510個のトランジスタを一つずつ止め たときの影響を調べている。その結果ドンキーコングの再生だけに影響する、いわば「ドンキーコング?トランジス タ」を見つけることができた。 “Donkey-Kong transistor”？ しかし、そんな発見がマイクロプロセッサの理解に役立つといえるだろうか？ と、 Jonasらは問う。
- 6. 私（丸山）が話した複数の神経科学者は、この見解に強く反発した。 Jonas & Kordingは神経科学を戯画化しすぎ。結 論ありきのデモンストレーション。実際の神経科学はもっと戦略的。そのとおりだろう 。 6 「私たちの用いている解析手法が単純なプロセッサにすら対応できないのだとしたら、 どうしてそれが私たち自身の脳でうまくいくと期待できるだろうか？」 “Unless our methods can deal with a simple processor, how could we expect it to work on our own brain?” 「神経科学者がマイクロプロセッサを理解できなかったことが問題なのではない。 問題は、神経科学の今のアプローチではマイクロプロセッサを理解できないであろう、ということだ。」 “Ultimately, the problem is not that neuroscientists could not understand a microprocessor, the problem is that they would not understand it given the approaches they are currently taking.” Jonas and Kording. (2017) "Could a neuroscientist understand a microprocessor?." PLoS computational biologyhttps://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1005268 今回の「実験」は、プロセッサの動作原理について何かを教えてくれるようには思えない。まして、実際の脳はマ イクロプロセッサに比べてはるかに複雑だ。著者らは言う：
- 7. 7 脳領域 A の損傷が機能 B を 阻害する 脳活動 A と B が 相関する Jonas and Kording (2017) の教訓？ ...これらの「事実」を積み上げる「だけ」では脳の理解はおぼつかない。 それでも、脳を理解することの難しさの一面を言い当てているように思う。「 AとBの（因果的?相関的）関係をカ タログしていく」式の方法の足りなさ。 では、ほかに何が必要なのか ？
- 8. 2. 標準的なフレームワーク：Marr の 3 レベル 8 脳理解の最も影響力のあるフレームワークとして、「Marrの3 レベル」を紹介する。
- 9. David Marr 1945 -1980 1970年代に、神経科学者の David Marr は著書”Vision”を著した。 Marrは第1章にて、「情報処理を行うあらゆる機械は、三つのレ ベルで理解されなくてはならない」という。 9
- 10. 10 Marr の 3 レベル 計算理論 Computational Theory アルゴリズムと表現 Algorithm & Representation ハードウェア実装Hardware Implementation 図：?鈴木力憲 図：?鈴木力憲 例 1: オプティカルフロー検知 例 2: 強化学習 報酬の最大化 Temporal difference (TD) 学習 大脳基底核の ドーパミン系 Takemura, Shin-ya, et al. "The comprehensive connectome of a neural substrate for ‘ON’ motion detection in Drosophila." Elife 6 (2017): e24394. https://doi.org/10.7554/eLife.24394.002 （?2017 Takemura et al. CC-BY 4.0） その計算の目標は何か（what）、なぜそれが適切 なのか（why）、それはどんなロジックに基づく戦 略で実行可能となっているか。 この3レべルの理解がそろえば、計算機の動作原理を個々のトランジスタの働きから理解するときのような、階層 的な脳の理解が得られるはず。 Jonasらも、3レベルを念頭に「チップ研究」をすれば、もっと成果が出たかもしれな い。Marrの3レベルは現在でも影響力があり、よく言及される。 表現とアルゴリズムがどのようにして（how）物理的 に実装されているか。 この計算理論はどのようにして（how）実行でき るか。とくに入力と出力の表現は何か、それら の変換のためのアルゴリズムは何か。
- 11. 脳のモデルとしてのニューラルネットワーク アナロジー 1: （従来型）計算機としての脳 →Marrの枠組みで理解可能 https://journals.plos.org/ploscompbiol/article?id=10.13 71/journal.pcbi.1005268 （?2017 Jonas & Kording, CC-BY 4.0） Computation Algorithm & Representation Implementation Computation Algorithm & Representation Implementation ?? ？？ ？ しかし脳は本当に Marr方式で理解できるのか。 Marrのフ レームワークは従来型（論理操作の組み合わせに基づ いた）コンピュータのアナロジーに根差している。しかし、 私たちは別の種類の計算機を知っている。ニューラル ネットワークだ。 アナロジー 2: ニューラルネットとしての脳 →Marrの枠組みに当てはまらない？ ニューラルネットは一見、 Marrの枠組みに嵌らない。 たとえば、訓練済みのニューラルネットにおける情報処理で、ア ルゴリズムレベルと実装レベルを区別することは難しそう。計算 理論もよくわからない。 11
- 13. Lillicrap & Kording (2019) “What does it mean to understand a neural network? ” https://arxiv.org/abs/1907.06374 unreviewed interpretation of Lillicrap & Kording (2019) by @rmaruy 深層ニューラルネット（ DNN）は脳のモデルの有力候補だ。しかし、「脳を DNNとして理解する」 にはまず 「DNNを理解する方法」を考えなければならなそうだ。 Lillicrap & Kording (2019) は学習済みの DNNの動作 を理解することは難しいと主張。その難しさを以下のように説明する。 （丸山の理解に基づく図解） 3目並べの必勝法はコンパクトな記述が可能 囲碁は不可能 理解には記述のコンパクトさ（compactness）、圧縮 性（compressibility）が必要。 学習済みNNの動作理解は困難 必勝法 学習済みの ニューラルネット の動作は囲碁に近い。DNNは何十万個ものパラメタをもち、現 状ではその動作を人間が理解できるほどコンパクトに記述することは難しい。 ≈
- 14. Lillicrap & Kording (2019) “What does it mean to understand a neural network? ” https://arxiv.org/abs/1907.06374 input output 学習済みDNNのコンパクトな 記述はできない 「問うべきは『脳はどうはたらくのか』ではなく、 『脳がどのようにそのはたらきを学習するのか』なのだ。」 “Instead of asking how the brain works we should, arguably, ask how it learns to work. “ unreviewed interpretation of Lillicrap & Kording (2019) by @rmaruy ?? training data アーキテクチャ、目的関数、学 習則はコンパクトに記述可能 →理解可能 error feedback DNNにもコンパクトに記述できる部分がある。アーキテクチャ （architectures）、損失関数（ loss functions）、学習則（learning rule）な どを指定すれば、その DNNがどんなものかを伝達することができる （＝論文に書くことができる）。 同様に、脳についても学習と発 達の理解を目指すべき 脳もまた圧縮した記述が難しい。現状では「解剖学的な特徴づ け」や、遺伝情報がどう脳をつくるかという「発生」の問題、そして 脳内での「学習のプロセス」を当座の理解の対象とすべきではな いか。Lillicrapらはそう提案。 14
- 15. Saxe, Nelli, & Summerfield, C. (2020). “If deep learning is the answer, what is the question?”. Nature Reviews Neuroscience https://arxiv.org/ftp/arxiv/papers/2004/2004.07580.pdf ?? unreviewed interpretation by @rmaruy 理想化されたモデルにより、 DNN自体を解釈可能に (deep linear network etc.) 一方、Lillicrapらと異なり、ニューラルネットの動作自体の理解を あきらめない立場もある。 Saxe et al. (2020) はDNNを脳のモデ ル（理論）として使っていくための「ロードマップ」を議論している。 主な主張は、 DNNをやみくもにつかうのではなく、「反証可能な予 測 “falsifiable predictions”」を生み出す方法で使うこと。また、モ デルとしての DNNはそれ自体が解釈可能 “interpretable”でなけ ればならないとし、そのために DNN を理想化したモデル (eg. “deep linear neural networks”)を使うことを提案している。 脳のモデルとしての DNNは 反証可能な予測を生むように使うべき 15
- 16. Hasson, Nastase, and Goldstein.(2020) "Direct fit to nature: An evolutionary perspective on biological and artificial neural networks." Neuron https://www.biorxiv.org/content/10.1101/764258v3 unreviewed interpretation by @rmaruy 一方、DNNの解釈性が不要だとする急先鋒がHasson et al. (2020) 。彼らは、 脳の計算の本質が「パラメータ過多な最適化アルゴリズム」だとし、これを“direct fit”と呼ぶ。パラメータが多いと過適合（オーバーフィット）して予測性能が落ちる という常識があった。しかし、パラメータ過多なNNは一定の条件のもとで自然に よくフィットする（fit to nature）。 条件1： 構造をもつ世界 2: 高密度の サンプリング direct fit 3: 高次元のモデル 4: 正しい目的関数（群） 5: 効果的な正則化 盲目的（mindless）な過パラメータな最適化が、 “direct fit”な内挿を実現する Hasson et al. (2020) https://www.biorxiv.org/content/10.1101/764258v3.full.pdf （?2020 Hasson et al., CC-BY 4.0） ただし、このフィットは内挿区間（データが得られている領 域）でのみだということに注意。 16
- 17. Hasson, Nastase, and Goldstein.(2020) "Direct fit to nature: An evolutionary perspective on biological and artificial neural networks." Neuron https://www.biorxiv.org/content/10.1101/764258v3 unreviewed interpretation by @rmaruy Hassonらは、ここから脳についての違う見方を提起する。私たち は、脳の本質が「汎化」、少ないデータからの外挿にあると思って きた。しかし、実は脳がやっているのも、外界からの大量のデー タに基づく“mindless direct fitting” なのではないか。 (Hasson氏 はインタビューにて、人間の脳の 80％がこれかも、と話している https://braininspired.co/podcast/63/). もちろんMindlessな内挿 がすべてではないが、より高度な認知機能を調べる際にもここを 出発点とすべき。 direct fit 脳がやっていることの 80%は“mindless”な “direct-fit”? 脳と外界を ecological （生態学的）に捉える 「認知神経科学?計算論的神経科学は、脳が外挿や（少数パラメタの）理想的なフィッティ ングをしているはずだという誤った規準を課してきたのだと思う …人間の知的能力は背伸 びをしたくなるものだが、それはシステム 1に属する何十億もの盲目的な direct-fitしたパ ラメタに支えられているのだ。」 “We think that cognitive and computational neuroscience has erred in imposing extrapolation criteria and ideal-fit models wholesale on the brain. … While the human mind inspires us to touch the stars, it is grounded in the mindless billions of direct-fit parameters of System 1. ” 「世界の構造と、脳の構造の間の密接なリンク」を強調するこの 見方は、脳の中の情報処理に着目する Marr のアプローチとは対 照的。丸山所感：「 DNNとしての脳」というアナロジーが新たな脳 の見方をもたらし、研究パラダイムまでも変えうることの好例では ないだろうか。 17
- 18. 4. Marr を超えて（2）: Buzsaki の批判 18 前のセクションでは、深層ニューラルネットを脳のモデルとして使う神経科学者を何人か取り上げた。しかし、この道をとらない人 もいる。脳の理解について一家言をもつGy?rgy Buzsákiは、ことさらニューラルネットについて気にしていないようである。
- 19. 19 Buzsaki 2019 “The Brain from Inside out” Oxford University Press 「Marr氏には同意しかねる。」 “I respectfully disagree with Marr.” (p.10) 脳を理解するには、脳のモデルを考える前に、まずは脳をよく見なければいけない。海馬の研究や脳のリズ ムの研究で有名な Gy?rgy Buzsáki（ユーリ／ジェルジ?ブザーキ）は、そんな態度をとる。 2019年の著書に て、「コンピュータとしての脳」のメタファーは、深層学習のメタファーも含めて、ミスリーディングだと指摘する。 「メタファーは、アイディアを伝えるための強力な道具だ。 …しかし、ミスリーディングでもありうる。新奇な現象について、その仕組みがまだ分 かっていないのに、理解したという間違った感覚を生んでしまうことがあるからだ。」 “A metaphor is a powerful tool .... However, metaphors can also be misleading because they may give a false sense of understanding a novel phenomenon before it is actually known how the thing works. ” (p.12) Buzsakiは Marr のアプローチに反対する。
- 20. 20 感覚入力 運動出力 観測者 このニューロンは何 をコードしている？ ニューロン 発火時系列 Buzsaki 2019 “The Brain from Inside out” 「outside-in」アプローチ ● 目標： 外的な変数から神経活動をデコードすること ／ 時代遅れの心理学概念 (“James’ list”)に対応す る神経活動を見つけること ● 計算機メタファーの不適当な利用 Marrの3レベルの前提は、脳が「情報処理」をしているということだった。しかし、脳はどんな「情報」を処理しているというのか。計算機ならば、 情報は外から定義できる。人間のエンジニアが設計したものだから。一方脳では、科学者は神経動を測定し、入力刺激や出力としての運動と 比較することで神経活動に「表現（ represent）」されたものを「解読／復号（ decode）」しようとする。こうしたアプローチを Buzsakiは「外から内へ （outside-in）」と呼ぶ。 しかし、我々は「コードブック」を持っていない。 out-side方式で、意味のある情報表 現を脳に見つけることはできるのか。 Buzsakiは懐疑的。 unreviewed interpretation of Buzsaki (2019) “The Brain from Inside out” by @rmaruy 心理学概念 X （注意、記憶、意思決定 etc.） どの神経活動が 「X」を実現してい る？ 外的な変数（入力?出力?心理学 概念）と神経活動を比較すること で、その神経活動が担う「情報」 ないし「表現」が定まる
- 21. 21 sensory input motor output feedback from motor area “corollary discharge” upstream neurons “cell assembly” ~200 neurons “reader” neuron spike train neuron’s output feeds back to subsequent input Buzsaki 2019 “The Brain from Inside out” 「神経活動Aが「計算B」をしている」「神経活動 Aが「表現（表象） B」をもつ」といったような、脳の観察に基づかない外から持ってきた概念「 B」を想定す るのは「outside-in戦略」。しかし本来、脳を研究するまでは、 Bが何かを知ることはできないはず。だから、神経活動 Aの「意味」は、科学者が勝手に考 えた概念を当てはめるのではなく、その神経活動から新たにつくっていかなければならない。これを、ブザーキは「読み手中心の視点（ reader-centric view）」、あるいは「内から外へ」戦略と呼ぶ。 見知らぬ言語の文章を解読するときのように、まずは脳の「文法」を調べなければな らない。 “Our working hypothesis is that in brain networks, especially those serving cognitive functions, the packaging and segmentation of neural information is supported by the numerous self-organized rhythms the brain generates.” (https://buzsakilab.com/wp/research/). たとえば、海馬では 150-300個のニューロンの活動が一つの単位＝「文字」をなし、 シータ波やシャープ?ウェイブリップルといった脳波がそれらの文字を「文」にまとめ あげるのではないか、といった仮説を提唱している。 Buzsakiは自身のアプローチを 「脳の統語則の探求 “Search for a neural syntax” 」と呼ぶ。 unreviewed interpretation of Buzsaki (2019) “The Brain from Inside out” by @rmaruy 「inside-out」アプローチ ● 目標：脳の統語則（neural sytax）を見つけること 神経的な「文字」（＝セル?アセンブリ）、「文」（脳のリズム） 例：海馬の場所細胞、シャープウェイブ?リプル ニューロン活動の意味は、ニューロンの視 点での出力 -入力関係から生まれる
- 22. 22 Buzsaki への反論 Buzsakiは恣意的な心理学概念（注意、記憶、意思決定など）を使うのをやめて、ボトムアップに神経活動の「意味」をつくっていけ、という。私（丸山）も、 Buzsakiに共 感する部分がある。なぜなら、まだまだ脳のモデルをつくるため重要なピース（神経現象についての知識）を欠いているかもしれないと思うから。一方で、 Buzsakiの 「内から外へ」宣言を貫徹するのは無理だという気もする。 Poeppel and Adolfi (2020) はBuzsaki著（本と論文）に対して、批判するコメンタリー論文を書いている。 Poeppel and Adolfi. (2020)“Against the Epistemological Primacy of the Hardware: The Brain from Inside Out, Turned Upside Down.” ENeuro 7, no. 4 . https://doi.org/10.1523/ENEURO.0215-20.2020 Buzsakiの理想 “inside out”： 実際には こう： ハードウェア実装の研 究 素朴心理学や哲学にとらわれない 新しい脳の記述?理解が見 つかる 脳機能の記述?理解の アップデート 心理学／行動学／計算論的な 事前知識?想定 unreviewed interpretation of Poeppel and Adolfi (2020) by @rmaruy “implementation sandwich” by Poeppel and Adolfi (2020) ハードウェア実装の研 究 Poeppelらは、Buzsaki自身も心理学用語を多用していることを指 摘し、ハードウェアとしての脳を研究する上で、心理学?行動学? 計算論的な事前知識や想定（ assumption）を用いないことは不 可能だし、目指すべきでもないと主張する。 Buzsakiが自身のア プローチを理想化しすぎている部分を言い当てていると思う。
- 23. 5. まとめ： 多元的で動的なゴールとしての脳理解 23 ここまで、脳をどう理解できるか、どう理解すべきかについての異なる見解をいくつか 見てきた。次ページに、それらを関係を図にまとめてみた。
- 24. 脳の理解の目指し方についての多様な見解 脳のモデルとして DNNを使うか？ 必ずしも使わない 使う “Brain from Inside-out” by Buzsaki 2019 “Neuroscience needs behavior” by Krakauer et al. 2017 ** DNNの解釈性は必要か？ 必要ない “Direct-fit to nature” by Hasson et al. 2020 「DNNとしての脳」 から得るべき教訓 は？ 必要 理想化などで実現 学習と発生を理解の ターゲットとすべき 脳のよりよい理論をつくるために、 最も必要／足りないのはどの分野の知識?ボ キャブラリーか？ 神経生物学 心理学?行動学 “What does it mean to understand a neural network?” by Lillicrap & Kording 2019 “If deep learning is the answer, then what is the question?” by Saxe et al. 2020 Ver 1.2 Under construction, 1.22.2021 by @rmaruy Open to comments. “Resynthesizing behavior through phylogenetic refinement” by Cisek 2019 ** 進化学? 系統発生学 DNN: deep neural network 24 脳内プロセスは 盲目的な内挿である **: 本発表では取り上げなかった もちろんこれは恣意的な整理にすぎない。これ以外のマッピング の仕方もあるはず。ここでは多様性を見てもらうのが目的。
- 25. アプローチの複数性（多元性）と動的なゴール 25 Krakauer, et al. (2017) “Neuroscience Needs Behavior: Correcting a Reductionist Bias.” Neuron https://doi.org/10.1016/j.neuron.2016.12.041. では、どのアプローチが正しいのだろうか。 John Krakauerらによる2017年の論文は、脳の理解に おいて「多元性」を認めることを提案している。科学哲学者の Hasok Changは、19世紀の化学の 歴史の研究し、当時の化学において、フロギストン説 vs酸素説など互いに相容れないアプローチ が並立しており、まさにこの「多元的（ pluralistic）」な状況ゆえに当時の化学が生産的だったと結 論する。 Q. 何のために脳を理解したいのか？ brain-inspired AIをつくるため？（”Inspired”の意味は？） 脳疾患の治療のため？ とはいえ、「どんな理解を目指すか」について、自分なりの基準が必要だろう。問うべき問いの一つは 次のかもしれない。 脳の理解はしばしば工学的?医学的な目的とリンクしている。「何のための理解か」によって、どんな 理解が必要かは代わりうる。さらに、「理解」自体が最終目的であるような場合ですら、「その理解で何 ができるか」が、どのような理解が望ましいかに陰に陽に影響することもあると思う。 Chang (2012) “Is Water H2O?” ● 19世紀化学史を研究 ● 多元性ゆえに生産的だったと結論 ● 科学における多元性のメリットを考察
- 26. 26 したがって、目指す「脳の理解」に固定的な定義が必要だと考えるのはミスリーディングだろう。脳の 理解の探究は、多元的で動的な営みとと捉えるべきだろう。 今後の精力的な研究と、本発表で簡単 に見てきたような超一流の科学者?哲学者たちによる熱い議論を通して、ドライブされていくのだろう。 もう一つ大事なのが次の観点だ。 Q. 現在の科学の状況に照らして、 どのような理解が到達可能か？ たとえば、第 2節で見たように、 DNNがいつの日か解釈可能になると考えるかどうか」は、「モデル としてのDNNを通して脳をどう理解を目指すべきか」の立場を左右する。 科学哲学者の Henk de Regtは「科学的理解」の概念を分析し、理解（理解可能性の基準 "criteria of intelligibility"）は文脈依存的であると結論している。理解可能性は、科学者が共同体として共 有している概念やスキルに依存するという考え方だ。 De Regt (2017) "Understanding Scientific Understanding" ● 物理学の歴史を紐解くと、理解可能性の 概念は動的に移り変わってきたことがわか る。 ● 科学的理解の「文脈依存説」 （Contextual theory）を提唱 アプローチの複数性（多元性）と動的なゴール 参考：重ね書き日記?動画版「科学にとって理解とは何か」 https://www.youtube.com/watch?v=7Y-VCNAE2Ec
- 27. 27 一人の神経科学ファンに、最先端の議論に触れる機会を与えていただいている、 Paul Middlebrooks博士の“Brain Inspired Podcast” https://braininspired.co/ に感謝いたします。