罢础厂2024冲大规模言语モデルを活用した金融センチメント分析における公司固有バイアスの评価
?
0 likes?50 views
第二十一回テキストアナリティクスシンポジウムの発表资料「大规模言语モデルを活用した金融センチメント分析における公司固有バイアスの评価」
![2
背景:ファイナンスにおけるセンチメント分析
自然言語処理技術の発展により、金融機関において、金融?経済テキストマイニング
は、投資判断、業務効率化に不可欠な要素[1]。
特に、センチメント分析は、投資家の意思決定や市場の動向を理解する上で重要
な役割を果たしてきた[2]。
大規模言語モデル(LLM)の普及により、より質の高いセンチメント評価を期待[3]。
NLP
good
bad
業績は底堅く推移すると
見込んでおります。
決算発表
センチメント分析](https://image.slidesharecdn.com/llmcorporetebias-240904003432-e7b5754e/85/TAS2024_-3-320.jpg)
![3
LLMによるセンチメント分析の課題
LLMの出力には人種や性別等の様々なバイアスが存在することが実証[4]。
→金融分野で重要なバイアスとは？ 「企業固有のバイアス」
一方で、企業固有のバイアスがあるかどうかは十分に検証されていない。
このバイアスが存在する場合、モデルは特定の企業に一貫した偏りを持つセンチメン
トスコアを生成し、投資家行動や市場価格形成に影響を与えるリスクがある。
本研究：複数種類のLLMにおいて、どの程度企業固有のバイアスを持つ
かを明らかにし、その影響を定量的に評価する。
good
bad
野村HDの業績は底堅く推移
すると見込んでおります。
「企業固有の
（センチメント）バイアス」
業績は底堅く推移すると
見込んでおります。
LLM](https://image.slidesharecdn.com/llmcorporetebias-240904003432-e7b5754e/85/TAS2024_-4-320.jpg)
![9
実証分析（企業特性）
RQ2:バイアスを持つ企業の特性は？
bad
good
カテゴリ ファクター 説明
リスク Beta 市場全体に対する個別銘柄の感応度。
Residual Volatility 個別銘柄の変動性
サイズ Size 企業の規模（小型）
Non-Linear Size 非線形的な規模（中型）。
Liquidity 銘柄の流動性。
トレンド Prospect 非対称性（歪度）。
Long Term Reversal 長期的なリバーサル。
Short Term Reversal 短期的なリバーサル。
Momentum モメンタム。
Industry Momentum 特定産業のモメンタム。
バリュー Earnings Yield 企業の利益に対する株価の割合。
Value 企業のバリュエーション。
グロース Sentiment センチメント（感情）。
Growth 企業の成長性。
マクロ経済 Foreign Sensitivity 海外経済の影響を受ける度合い。
Macro Sensitivity マクロ経済要因に対する感応度。
NK225 日経225指数採用銘柄かどうか。
クオリティ Leverage 財務レバレッジ（借入金の割合）。
Management 企業のマネジメントの質。
Earnings Quality 企業の利益の質。
（表2） Barra JPE4モデルのエクスポージャー[5]
１．決算発表前月末時点の各企業
（銘柄）のJPE4のエクスポージャー（特性）を
取得
２．企業固有のバイアスに対して正、なし、負で
3分位に分ける
３．各分位ごとの決算発表時点での平均エクス
ポージャーを算出し、正-負のスプレッドを計算](https://image.slidesharecdn.com/llmcorporetebias-240904003432-e7b5754e/85/TAS2024_-10-320.jpg)
![12
理論的背景
RQ3:株価パフォーマンスへの影響は？
設定：DeLong et.al. [6]のフレームワークに従い、
市場にはバイアスのない投資家(u)およびバイアスを持った投資家(b)が
それぞれ1 ? ?: ?の割合で存在すると仮定。
??+1~?(?
?, ??
2)
??+1~?(?
? + ??, ??
2
) ??,?
2
= ???,??1
2
+ ??
??~?( ?
?, ??,?
2
)
投資家(u)
投資家(b)
? ? = ?exp(?2?W)
市場に収益率?の無リスク資産とリスク資産が存在し、各投資家のリスク資産の価格??+1の
見通し、および効用関数?を以下で与える。市場均衡（需給の一致）での??
?
を求める。
DeLong et.al.との差異
バイアスを
持ったLLM
人間
（アナリスト）
vs
?
1 ? ?](https://image.slidesharecdn.com/llmcorporetebias-240904003432-e7b5754e/85/TAS2024_-13-320.jpg)
![14
実証分析（株価パフォーマンス）
RQ3:株価パフォーマンスへの影響は？
1.各銘柄について決算短信公表後60営業日の異常収益率を算出
2.決算短信発表日（0営業日）目からの累積異常収益率（CAR）を計算
3.エクスポージャー分析と同様に、企業固有バイアスが正、負であった決算短信群ご
との平均CARをLLMごとに集計
時間
決算短信発表日
＝バイアス発生
AR?,?:異常収益率
??,?:実際のリターン
?
??,? :推定リターン（FF5モデル）
FF5モデルの推定は130営業日前
から11営業日前（120日間）
イベントスタディにより市況変化では説明できない決算短信発表のインパクトを計測[7]
60営業日](https://image.slidesharecdn.com/llmcorporetebias-240904003432-e7b5754e/85/TAS2024_-15-320.jpg)
![19
参考文献(一部)
[1]坂地泰紀, 中川慧. 金融?経済ドメインにおける言語処理の進展. 自然言語処理, Vol. 31, No. 2, pp.
763–768, 2024
[2] Yinheng Li, Shaofei Wang, Han Ding, and Hang Chen. Large language models in finance:
A survey. In Proceedings of the fourth ACM international conference on AI in finance, pp.
374–382, 2023.
[3] Longbing Cao. Ai in finance: challenges, techniques, and opportunities. ACM Computing
Surveys (CSUR), Vol. 55, No. 3, pp. 1–38, 2022.
[4] Huaqin Zhao, Zhengliang Liu, Zihao Wu, Yiwei Li, Tianze Yang, Peng Shu, Shaochen Xu,
Haixing Dai, Lin Zhao, Gengchen Mai, et al. Revolutionizing finance with llms: An overview of
applications and insights. arXiv preprint arXiv:2401.11641, 2024.
[5] Barra Japan Equity Model (JPE4) Empirical Notes - October 2013
https://www.msci.com/www/research-report/model-insight-barra-japan/016268959
[6] J Bradford De Long, Andrei Shleifer, Lawrence H Summers, and Robert J Waldmann.
Noise trader risk in financial markets. Journal of political Economy, Vol. 98, No. 4, pp. 703–
738, 1990
[7]祝迫得夫, 大橋和彦, 中村信弘, 本多俊毅, 和田賢治. ファイナンス のための計量分析, 2003.](https://image.slidesharecdn.com/llmcorporetebias-240904003432-e7b5754e/85/TAS2024_-20-320.jpg)
罢础厂2024冲大规模言语モデルを活用した金融センチメント分析における公司固有バイアスの评価
- 1. The views expressed here are our own and do not necessarily reflect the views of Nomura Asset management. Any errors and inadequacies are our own. 第21回テキストアナリティクス?シンポジウムセッション4: 機械学習1 2024年9月3日(火) 9:40-10:00 大規模言語モデルを活用した金融センチメント分析 における企業固有バイアスの評価 a. 野村アセットマネジメント株式会社 b. 大阪公立大学 客員准教授 c. 株式会社Preferred Networks 中川 慧、平野 正徳、藤本 悠吾 a,b c 資産運用先端技術研究部 リサーチフェロー a
- 5. 4 企業固有のバイアスの定義 ? ? ?? ? ?? ?? ?? 企業名を含まない センチメントスコア （5段階） 企業名を含む センチメントスコア （5段階） 企業固有のバイアス LLMが企業に対して、 ? > 0→ポジティブなバイアス ? < 0→ネガティブなバイアス を持っている。 LLM
- 7. 6 実証分析（データセット） ?データソース:東証の適時開示情報閲覧サービス (TDnet)から取得 ?取得期間: 2019年1月から2023年12月までに発表された短信 ?使用データ:業績 (経営成績: P/L) に関する記述 年度決算に対応する決算短信のテキストデータ を使用 →上場企業が決算発表時に作成?提出する共通形式の決算速報。 決算期末後45日以内、望ましくは30日以内に開示。 1.経営成績等の概況 (1)当期の経営成績の概況 (2)当期の財政状態の概況 (3)当期のキャッシュ?フローの概況 (4)今後の見通し 2.会計基準の選択に関する基本的な考え方 3.連結財務諸表及び主な注記 2022年度の売上高は前年から2兆1,721億円 (25.8%) 増加し、10兆5,967億円となりました。 営業利益は3,771億円となり、前年度に対して 1,298億円 (52.5%) の増益となりました。これは 主に、原材料価格の高騰やインフレーション等の減益 影響はあったものの、継続的に取り組んでいる販売の 質の向上による収益力の強化に加え、コスト?費用の 改善効果及び為替変動の影響によるものです。 決算短信の構成： 業績に関する記述例 (7201: 日産自動車)
- 8. 7 ? GPT-4o (OpenAI)：2024年5月リリースのマルチモーダル LLM（テキストのみ使用） ? GPT-3.5-turbo (OpenAI)：2023年リリース、ChatGPTとも呼ばれる ? Gemini-1.5-pro-001 (Google)：2024年最新版 ? Gemini-1.5-flash-001 (Google)：Geminiシリーズの軽量バージョン ? Claude-3.5-sonnet (Anthropic)：2024年8月時点の最新版 ? Claude-3-Haiku (Anthropic)：軽量で高速、経済的なモデル ? Qwen2-7B：ローカル LLMの代表、7Bクラスで最高のパフォーマンス（2024年8月時点） 実証分析（LLM） 本研究では、以下のLLMを使用する。高機能/廉価版
- 9. 8 実証分析（バイアスの定量化） →性能の良いモデルほど、±0の値が多く、バイアスの取る値も狭い（バイアス小） RQ1:企業固有のバイアスが存在するか？ （表1）各LLMのバイアスの分布。 Note:出力を10トークンに制約し、数値（1-5）の判定。最初に出現した数値を評価として採用 ? ? ?? ? ?? 企業固有のバイアス 企業名を含まない 企業名を含む 各LLMにおいて±0から乖離した値（企業固有のバイアス）が10-20%程度存在
- 10. 9 実証分析（企業特性） RQ2:バイアスを持つ企業の特性は？ bad good カテゴリ ファクター 説明 リスク Beta 市場全体に対する個別銘柄の感応度。 Residual Volatility 個別銘柄の変動性 サイズ Size 企業の規模（小型） Non-Linear Size 非線形的な規模（中型）。 Liquidity 銘柄の流動性。 トレンド Prospect 非対称性（歪度）。 Long Term Reversal 長期的なリバーサル。 Short Term Reversal 短期的なリバーサル。 Momentum モメンタム。 Industry Momentum 特定産業のモメンタム。 バリュー Earnings Yield 企業の利益に対する株価の割合。 Value 企業のバリュエーション。 グロース Sentiment センチメント（感情）。 Growth 企業の成長性。 マクロ経済 Foreign Sensitivity 海外経済の影響を受ける度合い。 Macro Sensitivity マクロ経済要因に対する感応度。 NK225 日経225指数採用銘柄かどうか。 クオリティ Leverage 財務レバレッジ（借入金の割合）。 Management 企業のマネジメントの質。 Earnings Quality 企業の利益の質。 （表2） Barra JPE4モデルのエクスポージャー[5] １．決算発表前月末時点の各企業 （銘柄）のJPE4のエクスポージャー（特性）を 取得 ２．企業固有のバイアスに対して正、なし、負で 3分位に分ける ３．各分位ごとの決算発表時点での平均エクス ポージャーを算出し、正-負のスプレッドを計算
- 13. 12 理論的背景 RQ3:株価パフォーマンスへの影響は？ 設定：DeLong et.al. [6]のフレームワークに従い、 市場にはバイアスのない投資家(u)およびバイアスを持った投資家(b)が それぞれ1 ? ?: ?の割合で存在すると仮定。 ??+1~?(? ?, ?? 2) ??+1~?(? ? + ??, ?? 2 ) ??,? 2 = ???,??1 2 + ?? ??~?( ? ?, ??,? 2 ) 投資家(u) 投資家(b) ? ? = ?exp(?2?W) 市場に収益率?の無リスク資産とリスク資産が存在し、各投資家のリスク資産の価格??+1の 見通し、および効用関数?を以下で与える。市場均衡（需給の一致）での?? ? を求める。 DeLong et.al.との差異 バイアスを 持ったLLM 人間 （アナリスト） vs ? 1 ? ?
- 14. 13 理論的背景 RQ3:株価パフォーマンスへの影響は？ バイアスのブレ （リスク） バイアスの水準 （リターン） 理論的には、バイアスが株価に与える影響は正負いずれもあり得る！ ?? ? = 1 + ? ?? ? ? ? 1 + ? + ? ? ? ? ? ?? ? ??2??,? 2 1 + ? 2 ? const Theorem3.1 以上の設定のもと、市場均衡において均衡価格?? ? は 次のようになる。 今後、バイアスを持ったLLMによる投資が広まると株価がどのように歪むかについ ての検討が可能。 証明は予稿参照。
- 20. 19 参考文献(一部) [1]坂地泰紀, 中川慧. 金融?経済ドメインにおける言語処理の進展. 自然言語処理, Vol. 31, No. 2, pp. 763–768, 2024 [2] Yinheng Li, Shaofei Wang, Han Ding, and Hang Chen. Large language models in finance: A survey. In Proceedings of the fourth ACM international conference on AI in finance, pp. 374–382, 2023. [3] Longbing Cao. Ai in finance: challenges, techniques, and opportunities. ACM Computing Surveys (CSUR), Vol. 55, No. 3, pp. 1–38, 2022. [4] Huaqin Zhao, Zhengliang Liu, Zihao Wu, Yiwei Li, Tianze Yang, Peng Shu, Shaochen Xu, Haixing Dai, Lin Zhao, Gengchen Mai, et al. Revolutionizing finance with llms: An overview of applications and insights. arXiv preprint arXiv:2401.11641, 2024. [5] Barra Japan Equity Model (JPE4) Empirical Notes - October 2013 https://www.msci.com/www/research-report/model-insight-barra-japan/016268959 [6] J Bradford De Long, Andrei Shleifer, Lawrence H Summers, and Robert J Waldmann. Noise trader risk in financial markets. Journal of political Economy, Vol. 98, No. 4, pp. 703– 738, 1990 [7]祝迫得夫, 大橋和彦, 中村信弘, 本多俊毅, 和田賢治. ファイナンス のための計量分析, 2003.