狠狠撸

尝尝惭を使った社会科学の展开
Ryo Adachi
2/15/2024

去年のこと
● 4/7/2023: StanfordのPark et. al.のsocial simulacra論文がarxivにのる
● 4/2023~: Xでバズり、さまざまなメディアで取り上げられる
● 8/2023: レポジトリが公開される
● 10/2023: UISTのbest paperに選ばれる
???
● LLMエージェントの社会科学への活用を調査
Park et. al., 2023
2

アジェンダ
● Social Simulacra論文のrecap
● 筆者らの考えるsimulacraの活用例
● 引用している論文の紹介
3

アジェンダ
4

Social Simulacra論文のrecap
● 生成エージェント (generative agent)
○ 生成AIを利用した“believable”な人間行動をシミュレートするエージェント
● 活用先
○ コミュニティデザイン
■ コミュニティに“荒らし”ユーザーが現れたら
○ 仮想トレーニングへ活用
■ 精神疾患の治療
○ 仮想世界の構築
■ “what if”シナリオの検証
5

社会シミュレーション
● 25人のエージェントをsmallvilleで生活させる
○ 各エージェントのペルソナはプロンプトで規定
○ モデル: chatGPT (GPT3.5-turbo)
● エージェントは人間らしい行動をする
● その他みられる現象
○ 情報拡散
■ 選挙への立候補の情報
○ 協力
■ バレンタインパーティーの準備
Park et. al., 2023
6

人間らしさを実現する工夫
● Retrieve
○ プロンプトにいれる記憶を選定する
○ recency, importance, relevanceで重み付け
● Reflect
○ 記憶をより抽象的な概念に昇華させる
● Plan
○ 再帰的に生成
■ 1日の予定→1時間ごとの予定→各予定の詳細
○ 環境の変化に適応する
■ “トースターから煙がでています、どうしますか？”
全レコード
Park et. al., 2023
7

人間らしいか？
● 問題点
○ Fail to retrieve : 聞いたことを思い出せない
○ Hallucination : ないことをでっちあげる
● 評価方法
■ 各モデルのエージェントにインタビュー
● 自己紹介をしてください
● Aさんはどんな人ですか？
● 朝食が燃えています、どうしますか？
■ 被験者が回答の人間らしさをランク付け
Park et. al., 2023
8

アジェンダ
9

活用例（Park et. al., UIST, 2022）
● ソーシャル空間の設計
○ SNS, コミュニティ, オフラインのイベント , etc
○ 大人数の被験者で事前に実験することがむずかしい
● social simulacraでできること
○ インタラクションの生成
■ 予期せぬポジティブ、ネガティブな発言の発見
○ What if
■ 荒らしユーザーが発言したら
■ モデレーターが介入したら
■ コミュニティのルールを変更したら
○ マルチバース
■ いくつもの可能性をシミュレートできる
● reactive → proactiveにコミュニティ設計ができる
Park et. al., 2022
10

アジェンダ
11

意見のダイナミクス (Chuang et. al., 2023)
● 10人のLLMエージェント (gpt3.5-turbo)
● 5つのトピック
○ 例：“地球は平らだ”
● 各ステップにおいて任意のペアで意見交換
● 条件を変えて実験
○ トピックのフレーミング
○ 意見の初期分布
○ 確証バイアス
● 結果
○ バイアスの影響
■ 正しい情報に収束しがち
○ 確証バイアスが意見の分断をうむ
Chuang et. al., 2023
12

SNSのシミュレーション (Gao et. al., 2023)
● 実際のSNSネットワーク上のエージェント
○ 約10000ノード
● “男女差別”, “原子力発電”の2つのトピックについて
以下の3つをLLMでシミュレーション
○ 感情：calm, moderate, intense
○ 態度：賛成、反対
○ 反応：拡散、新規投稿、何もしない
● 結果
○ 個人レベルの行動を再現
○ 情報、感情、態度の伝播を再現
Gao et. al., 2023
13

SNSのシミュレーション (T?rnberg et. al., 2023)
● 500人のLLMエージェント
○ サーベイデータを活用してペルソナを作成
○ 各エージェントは政治思想の近い30人をフォロー
○ 投稿に基づき反応をする（コメント、いいね）
● 3つのタイムラインロジックを考える
○ 1. フォロワーの中で反応が多い投稿
○ 2. 全体で反応が多い投稿
○ 3. 反対派閥の中で反応が多い投稿
● 結果
○ 3.においてもっとも発言の毒性が低く、
派閥間の交流が促進された
○ バイアスの影響
T?rnberg et. al., 2023
14

マクロ経済シミュレーション (Li et. al., 2023)
● 100人のLLMエージェント
○ 意思決定：労働、消費
○ ペルソナ：名前、年齢、仕事、職業...
● 環境：労働、消費、銀行、政府
○ 相互に影響を及ぼす
■ 銀行は利率を変更
■ 政府は税率を変更
■ 労働 (時給) と消費 (価格) の需給関係
● 結果
○ 現実的な行動がみられる
e.g. “インフレの際は消費を抑える”
○ マクロ経済で知られる関係を再現
■ フィリップス曲線
■ オークンの法則
Li et. al., 2023
15

参考
● Social Simulacra: Creating Populated Prototypes for Social Computing Systems. Park et. al., UIST, 2022
● Generative Agents: Interactive Simulacra of Human Behavior. Park et. al., UIST, 2023
● Simulating Opinion Dynamics with Networks of LLM-based Agents. Chuang et. al., arXiv:2311.09618v1, 2023
● S3: Social-network Simulation System with Large Language Model-Empowered Agents. Gao et. al.,
arXiv:2307.14984v2, 2023
● Simulating Social Media Using Large Language Models to Evaluate Alternative News Feed Algorithms T?rnberg et
al., arXiv:2310.05984v1, 2023
● Large Language Model-Empowered Agents for Simulating Macroeconomic Activities. Li et. al.,
arXiv:2310.10436v1, 2023
● 役に立ったサーベイ
○ マルチエージェント(日本語) : https://speakerdeck.com/masatoto/llmmarutiezientowofu-kan-suru
○ LLM Multi-Agent Systems: Challenges and Open Problems. Han et. al., 2024
16

狠狠撸

尝尝惭を使った社会科学の展开

Recommended

More Related Content

What's hot (20)

Similar to 尝尝惭を使った社会科学の展开 (20)

尝尝惭を使った社会科学の展开