狠狠撸

統計的推定の基礎１
期待値の推定
市東亘
2021 年 9 月 9 日
1 はじめに
不確実な事象の特徴を知りたいとき，まずは平均や分散を調べるであろう．もう少し正確には，
不確実な事象を表す確率変数を X とすると，X の期待値や分散を求めたい．
ここでは，ランダム事象の典型である株価データを例に，その収益率の期待値と分散の推定方法
を学ぶ．
2 統計的推定
証券の収益率 Rt = (Pt ? Pt?1)/Pt?1 は，毎期 t にどのような値をとるか事前に知ることはでき
ない．したがって Rt は確率変数である．慣習では，確率変数は大文字で表し，実現値を小文字で
表すので，第 t 期に実際に観測される証券の収益率は rt で表される．
ここで，確率変数 Rt の確率分布が分かっていれば，収益率の期待値 E[Rt] を求めることができ
る．つまり，rt が生起する確率を f(rt) とすれば，E[Rt] =
∑
t f(rt)rt で求まる．
もし，ある証券の収益率のあらゆる可能性を調べ尽くすことができたら，ある値 rt が全可能性
のうちどれ位の割合で生じるか計算でき，Rt の正確な確率分布関数を構築することができる．し
かし，ある証券の生じ得る収益率の値と頻度を調べ尽くすことは不可能である．言い換えれば，収
益率の全ての可能性を示す母集団 (population) を観測することはできない．
我々は，ある一定期間のデータしか観測できない．こうした一部のみ抽出されたデータを標本
(sample) と呼ぶ．母集団を観測することができない場合，母集団の一部である標本を用いて，母
集団の特徴を推測することしか出来ない．この推測を統計的に行うのが，統計的推定 (statistical
inference) である．
母集団の特徴とは，例えば母集団のデータの中心を表す平均 (mean) やデータの散らばりを表
す分散 (variance) である．母集団が従う確率分布が分かっていれば求めることのできる母集団の
真の平均を母集団平均 (population mean) ，分散を母集団分散 (population variance) と呼
ぶ．我々は，
、
?
標
、
?
本
、
?
デ
、
?
ー
、
?
タ
、
?
を
、
?
用
、
?
い
、
?
て，母集団平均や母集団分散を推定する方法を学ぶ．
3 統計的モデル
母集団に関する情報を推定するには，まず，データが従うべき統計的モデル (statistical model)
を構築しなければならない．
1

www.seinan-gu.ac.jp/?shito 2021 年 9 月 9 日（17:16）更新版
証券の収益率はランダムに生じる．その母集団の期待値と分散，
E[Rt] = β （母集団期待値） (1)
V ar[Rt] = E[(Rt ? E[Rt])2
] (2)
= E[R2
t ] ? β2
= σ2
（母集団分散） (3)
は正確には分かっていない．
ここで，ある証券の収益率のデータを第 1 期から第 T 期まで集めて標本を作るとしよう．この
時，Rt，( t = 1, · · · , T ) は，標本として採用される可能性のある第 t 期のデータである．実際に
標本データが抽出されるまでは，R1, R2, · · · , RT は T 個の確率変数である．Rt は，同じ証券の収
益率の母集団から抽出したものであるから，それぞれの Rt は皆，同じ分布に従い，同じ母集団平
均と母集団分散を持つと考えられる．さらに，異なる期の収益率は互いに独立であると考えられ
る．これは，昨日の収益率の情報は明日の収益率に何ら影響を与えないということを意味する．一
般に，株価はランダムウォークに従うことが示されているが，これは，各期の株価の変化率が他の
期と独立に決定していることを意味している．
以上をまとめると，
Rt ～ iid(β, σ2
) (4)
と書くことができる．この式の意味は，Rt は，平均が β，分散が σ2
で，独立に (individually)，同
一に (identically)，分布 (distributed) していることを意味している．さらに，各期独立の仮定よ
り，Ri, Rj, (i ?= j) は独立で相関はなく，
Cov(Ri, Rj) = 0 (5)
である．
今，εt を
εt = Rt ? E[Rt] = Rt ? β (6)
と定義しよう．β はある値で一定であるが，Rt が確率変数なため，εt も確率変数であることが分
かる1
．さて，εt は何を表しているのだろうか．
β はある証券の各期に出るであろう収益率の期待値（正確には母集団期待値）である．Rt は同
一証券の異なる期日における収益率であるから，Rt が不確実な値をとるのは証券が異なるからで
はなく，期日 t が異なっているためだ．そのために，平均的な収益率 β から乖離するのだ．つまり，
Rt と β の乖離幅である εt には，時点が異なるせいで収益率に影響する様々な撹乱要因が含まれて
いることになる．このようなランダムな撹乱項 εt を通常，random disturbance または error term
と呼ぶ．
さて，この撹乱要因 εt はどのような統計的性質を持つのか見てみよう．まず，期待値と分散は
以下のようになる．
E[εt] = E[Rt ? β] = E[Rt] ? β = 0
V ar[εt] = E[(εt ? E[εt])2
] = E[ε2
t ]
= E[(Rt ? E[Rt])2
] = σ2
(7)
1通常，確率変数は大文字で記されるが，E は期待値の記号として既に使われているため，小文字が用いられている．
西南学院大学経済学部 2 演習 I?II 市東亘

さらに，εt の中に含まれる Rt は異なる期で独立なのでもちろん εt も異なる期で独立になり，
Cov[εi, εj] = 0 (i ?= j) (8)
である．したがって，
εt ～ iid(0, σ2
) (9)
である．
以上をまとめると，各期の収益率 Rt は，(6) 式より，
Rt = β + εt, (t = 1, · · · , T) (10)
で表され，平均 β の周りで変動しているというモデルを得ることができる．そして，このモデル
で表される証券の収益率の変動原因である撹乱要因（これを残差とも呼ぶ）は，平均はゼロ，分散
は σ2
という性質を持つことが分かる．
練習問題 1 (8) 式を証明せよ．
4 期待値の推定
統計的モデルを構築すれば，どのように標本データを用意すればよいかが確定する．すなわち，
統計的モデルに現れるデータを集めればよいのだ．標本データをもとに，どのように母集団の期待
値や分散を推定るかが我々が直面している問題である．
E[Rt] = β であることを思いだそう．期待値は Rt の分布の中央に位置する．もし標本データが，
ある特徴を表している特別なデータのみから恣意的に抽出されたのではなく，ランダムに抽出され
たのであるならば，標本データは母集団の特徴を反映していると考えてよいだろう．それならば，
標本データの中心が母集団の中心 β の良い推定値となるはずである．
標本データの中心を求めるには，最小二乗法を用いるとよい．t 期の標本データ Rt の観測値を
rt とおき標本データの中心を b とする（母集団の中心 β と区別していることに注意）
．各標本デー
タからデータの中心 b までの距離は，rt ? b，( t = 1, · · · , T ) で表される．全ての距離の総和が最
小になるような b を求めてやればデータの中心が求まる．ただし，rt は b を中心に分布しているた
め，rt ? b はプラス?マイナス両方の符号をとる．これらを足し合わせるとゼロになってしまうの
で，2 乗して和をとる2
．つまり，S を
S =
T
∑
t=1
(rt ? b)2
(11)
と定義すると，S を最小にするような b を求めるということだ．S を最小にする b を求めると以下
を得る．
b =
∑T
t=1 rt
T
(12)
こうして標本データから求まった b が母集団の真の期待値 β の推定値 (esitimate) となる．また，b
は，標本データの式で表されるため，その式に標本データを代入すれば，いつでもデータの中心を
2「シグマの復習」練習問題 2 の問 2 を思いだそう．

求めるという最小二乗法の条件を満たした推定値を得ることができる．b が表すこうした式（推定
値を導出するルール）を推定量 (estimator) という3
．ここでは，特に最小二乗法のルールを表し
ている式であるため，b を求める式を最小二乗推定量 (the least square estimator) と呼ぶ．当
然ながら，b を求める式は b そのものを表すのだから，b を最小二乗推定量ともよぶ．b が最小二乗
法というルールを表している場合は「推定量」と呼ばれ，データから実際に得られた値を指す場合
には「推定値」と呼ばれ区別されている．
練習問題 2 (10) 式を満たす β の最小二乗推定量 b が，(12) 式になることを証明せよ．
(12) 式から，母集団の分布が分からないとき，母集団の期待値を推定するには，標本データの算
術平均を求めればよいことが分かる．
5 期待値に関する最小二乗推定量の性質
b =
∑
rt/T は，母集団平均を求める推定方法を表している．我々は，推定量として最小二乗法
を採用したわけだが他の推定方法を考えることもできる．例えば，ある人は各期の収益率に単純に
1/T を乗じるのではなく，現在に近いほどウェイトを大きくし，過去にるほどウェイトを小さく
して平均をとる方法を採用するかも知れない．本節では，我々が採用した推定方法はどれ位優れて
いるのか，言い換えると，推定量 b はどれ位母集団平均 β に近いのかを検証する．
5.1 b の期待値
推定値 b が母集団平均 β に近いかを知ろうにも，我々は β の値を知らない．知っていればそも
そも推定する必要もない．
標本期待値 b は，b =
∑
rt/T で求められた．1 から T 期の標本が観測されるまでは t 期の標本
値 rt は分からない．したがって，最小二乗法による平均の推定方法は，もっと一般的に書けば，
b =
∑
Rt/T となる．実際に観測されたデータ rt，t = 1, · · · , T を用いて初めてある推定値 b が確
定する．異なる標本を扱えば，もちろん b も異なる．つまり，推定値 b も確率変数であることが分
かる．
母集団の真の期待値 β の値が分からなくても，確率変数である b が
、
?
平
、
?
均
、
?
的
、
?
に母集団平均 β に近
付くかどうかについては，検証することができる．つまり，
b =
∑T
t=1 Rt
T
=
1
T
R1 +
1
T
R2 + · · · + RT
であるため，その期待値を取れば，
E[b] = E
[
1
T
R1
]
+ · · · + E
[
1
T
Rt
]
=
1
T
E[R1] + · · · +
1
T
E[RT ]
=
1
T
β + · · · +
1
T
β
= β (13)
3簡単に言えば，推定方法のことを推定量というと考えればよい．

である．したがって，母集団平均 β の値は分からないが，我々が直面しているデータの母集団が
平均 β，分散 σ2
という分布に従っているのなら，そしてもし，標本データがランダムに抽出され
ることによって母集団の特徴を偏りなく表しているのなら，T 期間の標本データを用意し推定値 b
を求めるという行為を
、
?
繰
、
?
り
、
?
返
、
?
し行うことによって，推定値 b は
、
?
平
、
?
均
、
?
的
、
?
に母集団平均 β に一致する
のである．
これは，ある 1 回の標本から求めた b が良い推定値かどうかは分からないが，最小二乗法という
推定量を用いれば，平均的には b は母集団平均と一致することを示している．したがって，少なく
とも
、
?
平
、
?
均
、
?
的
、
?
に
、
?
は母集団平均とその推定値が一致するという観点からは，最小二乗法による推定は良
い推定方法と言えるだろう．こうした性質を持つ推定量を不偏推定量 (unbiased estimator) と
呼ぶ．
5.2 b の分散
推定値 b は，標本抽出と推定を繰り返し行えば平均的には母集団平均と一致することが分かった．
しかし，平均的に一致したとしても実際には，各標本ごとに母集団平均のまわりでばらついた値
になる．こうしたばらつきを repeated sampling variability，または，sampling variability
と呼ぶ．こうした sampling variability がどれ位になるのかを見るには，推定量 b の分散を調べれ
ばよい．
b =
∑
Rt/T より，
V ar[b] = V ar
[
1
T
R1 +
1
T
R2 + · · · +
1
T
Rt
]
(14)
である．Rt は，各期独立であるため共分散はゼロとなり，確率変数の和の分散は，各確率変数の
分散の和に等しい．したがって，以下を得る．
V ar[b] = V ar
[
1
T
R1
]
+ V ar
[
1
T
R2
]
+ · · · + V ar
[
1
T
RT
]
=
1
T2
V ar [R1] +
1
T2
V ar [R2] + · · · +
1
T2
V ar [RT ]
=
1
T2
σ2
+
1
T2
σ2
+ · · · +
1
T2
σ2
=
T
T2
σ2
=
σ2
T
(15)
以上の結果より，標本サイズ T が大きくなればなるほど，最小二乗推定量 b の分散は小さくなる
ことが分かる．これは，母集団から標本データを多く抽出すればするほど，より正確な推定値 b を
得ることができる可能性があることを示している．
同様に，母集団の分散 σ2
が小さいほど（つまり母集団のデータに散らばりが少ないほど）推定
値 b もより正確なものとなる可能性がある．
ここで，
「可能性」という控え目な表現を用いたのは，
「分散」は「散らばり」の
、
?
期
、
?
待
、
?
値だからで
ある．つまり，T が大きければ大きいほど，σ2
が小さければ小さいほど，推定値 b の散らばりは
、
?
平
、
?
均
、
?
的
、
?
に
、
?
見
、
?
て小さいのである．
(15) 式から，T → ∞ で，b の分散はゼロに近付くことが分かる．つまり，平均的に見ると，T
が ∞ に近付くにつれ，我々が推定した b の分散はゼロになるため，推定値はほぼ確実に母集団平
均と一致するというのである．このことから，ここで用いた最小二乗法という推定方法は，かなり
優れた推定方法であると言えるだろう．実際，最小二乗推定量は，線型の不偏推定量としては分散
が最も小さい推定量であることを証明することができる．

5.3 最良線型不偏推定量（Best Linear Unbiased Estimator）
我々が株価データから得る収益率は，平均 β の周辺を誤差項 εt の幅だけ変動していると考えら
れるため，以下のような統計的モデルを仮定した．
Rt = β + εt t = 1, · · · , T (16)
もし，誤差項 εt が，各 t 期で独立に，そして同じ確率分布に以下のように従うのなら，
εt ～ iid(0, σ2
) (17)
株価収益率 Rt の平均 β の推定値 b は，最小二乗法を用いて，
b =
T
∑
t=1
Rt/T (18)
で得られることが分かった．最小二乗法を用いて得られる推定値 b は，平均的に母集団の真の値 β
と一致し（E[b] = β）
，不偏性を満たすことが分かった．また，b の分散は，V ar[b] = σ2
/T であ
ることも分かった．
本節では，(16) 式で与えられる統計的モデルの β を推定した場合，最小二乗推定量が
、
?
類
、
?
似の推
定量の中で
、
?
最
、
?
も
、
?
優
、
?
れ
、
?
て
、
?
い
、
?
ることを証明する．
まず，
、
?
類
、
?
似の推定量の意味を明確にしなければならない．最小二乗推定量 b は，
b =
T
∑
t=1
Rt/T =
1
T
R1 +
1
T
R2 + · · · +
1
T
RT
= a1R1 + a2R2 + · · · + aT RT
=
T
∑
t=1
atRt (19)
で求められる．ただし，at = 1/T である．このように，推定量がデータの線型結合で表されると
き，推定量は特に線型推定量 (linear estimator) という．本節では，線型推定量の一つである最
小二乗推定量とその他の線型推定量とを比較する．
最小二乗推定量以外の線型推定量 b?
は，
b?
=
T
∑
t=1
a?
t Rt
で表すことができる．ここで，b?
が b と異なることを保証するために，a?
t と at の乖離幅を表す定
数 ct を用いて，
a?
t = at + ct
と仮定しよう．ただし，ct，( t = 1, . . . , T ) は少なくとも１つは非ゼロである．
したがって，
b?
=
T
∑
t=1
a?
t Rt =
T
∑
t=1
(at + ct)Rt =
T
∑
t=1
1
T
Rt +
T
∑
t=1
ctRt
= b +
T
∑
t=1
ctRt (20)

その期待値は，
E[b?
] = E[b +
T
∑
t=1
ctRt]
= E[b] +
T
∑
t=1
ctE[Rt]
= β + β
T
∑
t=1
ct (21)
である．ここでは，最小二乗推定量を他の線型不偏推定量と比較しようとしていることを思いだそ
う．比較対象の b?
は不偏推定量でなければいけないので，
∑
ct = 0 でなければならない．
以上をもとに，b と b?
を比較し，どちらがより分散の小さい線型不偏推定量であるかを見てみ
よう．b?
の分散を計算すると以下を得る．
V ar[b?
] = V ar[b] + σ2
T
∑
t=1
c2
t (22)
いま，b ?= b?
より，ct，( t = 1, . . . , T ) のうち必ず１つは非ゼロであるから，
∑
c2
t > 0 で，
V ar[b?
] > V ar[b]
を得る．
練習問題 3 (22) 式を導出せよ．
したがって，統計的モデル
Rt = β + εt, εt ～ iid(0, σ2
)
において，母集団平均 β の最小二乗推定量 b は，他の線型不偏推定量と比べ分散が最も小さい最良
不偏推定量 (best linear unbiased estimator, BLUE) である4
この結果が証券分析において意味することは，株の各期の収益率が同一の分布に従い，各期独
立であるならば，収益率の平均を計算するには，各期のウェイトを均一に偏りなくとった算術平均
が，一致性という観点から最も優れていることになる．
4以上の結果を導出するのに εt の分布型は仮定していない．もし，εt が正規分布に従うのなら，最小二乗推定量は最良
不偏推定量 (best unbiased estimator) になることが証明できる．

狠狠撸

統計的推定の基礎 1 -- 期待値の推定

More Related Content

統計的推定の基礎 1 -- 期待値の推定