狠狠撸

狠狠撸Share a Scribd company logo

生成础滨が切り拓く基础科学(20231112)

?
?
Koji Fukuoka
Koji Fukuoka

生成础滨が切り拓く基础科学

Convert to study guideBETA

Transform any presentation into a summarized study guide, highlighting the most important points and key insights.

1 of 24
Enjoy Science 生成础滨が切り拓く基础科学 2023/11/12
留意事項 この分野はまだ不確定要素と流動性が高いので、あくまで発信 日時での情報であることに留意ください。 所属組織ではなく、あくまで個人としての発信です。本情報に 伴う結果に関して責任は負いかねます。 2
本シリーズ共通の趣旨:３つの謎への探求をカジュアルに楽 しむ 生命とは? 生命とは? 宇宙とは? 宇宙とは? 知能とは? 知能とは? 宇宙物理学 宇宙物理学 宇宙生物学 宇宙生物学 分子生物学 分子生物学 合成生物学 合成生物学 神経科学 神経科学 コンピュータ科学 コンピュータ科学 物理学 物理学 生物学 生物学 化学 化学 生理学 生理学 数学 数学 解きたい謎 関連する学問テーマ 学問テーマの大分類 3
全体の流れ ? 生成系AIの基本 ? 用途別トピック 1. 生成系AIの仕組みを研究して??? ① 脳の仕組みを解明 2. 生成系AIを使って??? ① 研究の負荷を下げる（自動化?スピード化） ② 研究の質を高める（仮説発見?練磨） ? その他 ? まとめ 4
Google系 主なLLMの流れ:ディープラーニングから変革 5 Copyright@ Koji fukuoka OpenAIとGoogle開発のLLM系譜 各公式サイトを元に作成 Transformer (2017) ※Open Source化 GPT: Generative Pretrained Transformer (2018) GPT-3 (2020) GPT-4 (2023/3) Attention 機構 ChatGPT (2022) ChatGPT plus BERT: Bidirectional Encoder Representations from Transformers (2018) … LaMDA: Language Model for Dialogue Applications (2021) Bard: (2023/2) PaLM: Pathways Language Model (2022) 超ざっくりいうと、関係あり そうな所を巧妙に当たり付け して認識能力のコスパを向上 ChatGPT plus (2023) ChatGPT Turbo (2023/11) 深層学習 (2006) PaLM2: (2023/5) Bard2: (2023/5)
ChatGPTの誕生と特徴:LLM(大規模言語モデル)の推移 Copyright@ Koji fukuoka 6 日経サイエンス2023/5 特集
LLMの基本的なコンセプト 7 https://image.itmedia.co.jp/l/im/ait/articles/2303/13/l_di-01.png
LLMの多様化は進む 例:医学研究向けLLM:BioGPT（現在はオープンソース） ? 2021年以前の論文データ(英語)を収集し、タイトルと抄録を含んだ1,500万件のコンテンツをデータ セットとしてGPTでトレーニングしたモデル 8 https://cloud-expert.fsdg.co.jp/column/402/ https://github.com/search?q=BioGPT%20&type=repositories
LLMの革命:量が質を凌駕 Copyright@ Koji fukuoka 9 https://arxiv.org/pdf/2001.08361.pdf https://openreview.net/forum?id=yzkSU5zdwD https://togetter.com/li/2069466 スケーリング則（OpenAI 2020年） 大規模言語モデル(LLM)では損失 L と３つのパラメーター間に 相関（べき乗関係）がある。 C : amount of compute D : dataset size N : number of model parameters
LLMの革命:創発現象? Copyright@ Koji fukuoka 10 創発現象ともみれる現象（Google 2022年発表） CoT:Chain Of Though （思考の連鎖） モデル量を増やし続けると飛躍的に改善
情報処理から見たLLMとAttention機構 11 科学とは客観的な正しさ を追求する営みです。 (13,32,9,????)(1,42,44 ,91,???)(???) テキスト データ ベクトル データ 科学、とは、客観的な、 正しさ、を、追求する、 営み、です。 トークン 化 ※上記はあくまでイメージです LLMはベクトルデータ（高次元の数 値群）の関係性をもとに判断 →分散表現 https://developers.agirobots.com/jp/attention-mechanism-transformer/
Transformerと「人の脳」とのつながり 12 https://gigazine.net/news/20220914-transformer-brain/ https://www.quantamagazine.org/how-ai-transformers-mimic-parts-of-the-brain-20220912/ 1980年代に考案された脳の記憶モデル （ホップフィールドネットワーク）を TransformerのAttention機構で改良す ることで、記憶（脳の海馬）モデルを精緻 に表現（2022年の発表） →脳の統合処理（バインディング問題）へ の解明につながるかも? 2023/4の生成AI 未来予測を再掲
脳内の知的活動も分散表現が可能に 13 https://www.nict.go.jp/press/2020/03/10-1.html 見る、聞く、記憶する、想像する、 判断するといった103種類の認知 課題をfMRI(脳活動記録)を通じ て分散表現することに成功 (2020) 似ている課題ほど 距離が近い 数学の計算過程を同じように実 験してLLMの挙動と比較(2023)
計算するときの脳活動とLLMの挙動は似ていた! 14 https://www.sciencedirect.com/scien ce/article/pii/S105381192300126X 数学計算（９種類の加減乗除） をしている時の脳活動(by fMRI) と、LLM(Transformerを使用)から 人工的に脳マップ化した結果は 類似していた。 数学計算（９種類の加減乗除） をしている時の脳活動(by fMRI) と、LLM(Transformerを使用)から 人工的に脳マップ化した結果は 類似していた。
LLMが時間と空間を「理解」している可能性 15 https://doi.org/10.48550/arXiv.2310.02207 Llama-2を使って、時間? 地理的空間情報をデータ セットにして学習 →半分の階層以降で向上し 限界点に達する。ただし十 分に高い性能を見せる
LLMが脳の汎用的な言語能力を獲得できる可能性 16 https://www.nature.com/articles/s41586-023-06668-3 メタ学習手法を使ったら汎用的な言語?思考能力を 獲得した（2023/10/25） 人間の言語と思考力のように、既知の構成要素を 理解し、新しい組み合わせを作り出す能力を表現
一方で「理解」能力には否定的な研究も 17 論文タイトル「生成系AIのパラドックス」 https://doi.org/10.48550/arXiv.2311.00059 生成系(縦軸)は同程度 だが、理解系(横軸)は 人間が上回る
18 生成系AIを使って、基礎研究を進化させた事例
生成系AIを使って研究を進化 アルツハイマー病の予測 19 https://www.nature.com/articles/d41586-023-03482-9 https://www.nature.com/articles/d41586-023-03426-3 アルツハイマー病患者の脳をMRI でスキャンした図 Ｄ 遺伝子と脳情報等からアルツハイマー 病をAIで予測する団体(2020年設立) http://ai4ad.org/ 左記団体と別に、血液情報も含め た複合的な解析でアルツハイマー 病やその他の神経疾患を予測しよ うとする研究組織も。
生成系AIを使って研究を進化 タンパク質の3次元解析を加速化 20 従来の標的タンパク質の構造変化列の構成手順に比べて、10倍以上高速に大量 の電子顕微鏡画像からタンパク質の形態と構造変化の推定が可能に 〇富士通と理化学研究所、独自の生成AIでタンパク質の構造変化を予測する創薬技術を開発（IoT 2023/10） https://iotnews.jp/ai/235433/
生成系AIを使って研究を進化 宇宙の天体シミュレーション時間を削減 21 〇東大など、超新星爆発の複雑な広がりをAIで予測する新手法を開発 （ Mynavi 2023/10/24） https://news.mynavi.jp/techplus/article/20231024-2800650/ 画像生成AIを活用した超新星爆発のシミュレーション（左:旧、右:新） 本モデルを活用することで、天の川銀河のような比較的大きな銀河内のひとつひとつの星の動きまで、 非常に詳しく再現したシミュレーションが可能に。
生成系AIを使って研究を進化 生成AIが論文の査読をして助言１ 22 〇「GPT-4」は論文の査読ができるか? 米スタンフォード大らが検証 参加者の80％以上「AI査読は有益」(2023/10) https://www.itmedia.co.jp/news/articles/2310/19/news072.html https://arxiv.org/abs/2310.01783v1 学術誌と専門 家のフィード バックを学習
生成系AIを使って研究を進化 生成AIが論文の査読をして助言２ 23 人間（専門家）の指摘と 77％が重複。 300名超の被験者で8割 (左図赤枠)が改善効果を 感じる。 〇「GPT-4」は論文の査読ができるか? 米スタンフォード大らが検証 参加者の80％以上「AI査読は有益」(2023/10) https://www.itmedia.co.jp/news/articles/2310/19/news072.html https://arxiv.org/abs/2310.01783v1
まとめ ? 脳の情報処理的な仕組みが分かってきたことで、脳とAI（特に Transformer）のふるまいが似ていることが分かってきた ? 生成系AIを研究に使うことで、基礎科学の様々な分野で質?量 が飛躍的に向上している ? 生成系AIは人間並みの査読（改善指摘含む）能力も備えており、 仮説の構築段階から活用できる可能性が出てきた 24

More Related Content

生成础滨が切り拓く基础科学(20231112)