狠狠撸

Bootstrap Method
の勉強メモ
注：このスライドはブログ記事の一部として利用しています。
Webページデザインとは何の関係もありません。
統計分野でのBootstrapのスライドとなります
内容についての正確性は保証できかねますのでご了承ください

未知の母集団?
？
?1 ?2 ?3 ??? ?n
n個の
ランダム
サンプリング
? = ?(?1, ?2,, ?3 ? , ? ?)
?: 推定したいパラメーター
ここで、母集団Pがどんな分布なのかは不明???

母集団?
？
もし、母集団PからB回、ランダムサンプリングすることが
できたらこんな感じで推定が可能。
n個のRS
→ ?1
n個のRS
→ ?2
n個のRS
→ ? ?
?
?
?
平均
? =
1
?
?=1
?
??
分散
?2 =
1
?
?=1
?
(??)2 ?
1
?
?=1
?
??
2

平均
? =
1
?
?=1
?
?? →
?
? ?
分散
?2 =
1
?
?=1
?
(??)2 ?
1
?
?=1
?
??
2
→
?
???(?)
Bの数を無限に増やしていくと、Mの真の平均?(?)と、
真の分散??? ? の値となる

母集団?
？ただし、現実は、母集団から無限に
ランダムサンプリングすることはできない。
手元のデータからなんとかしたい
そのためには
?Empirical Distribution Function
?Plug-in Estimator
の考え方が必要
手元の
データ

Empirical Distribution Function
? ? =
1
?
?=1
?
?(?? ≤ ?)
?はインジケーター関数
例：10個のランダムサンプルの結果が
{1,3,3,5,6,7,7,7,8,8}であれば ?(?)は、こん
な感じのグラフになる
? ? =
0, ? < 1
0.1, 1 ≤ ? < 3
0.3, 3 ≤ ? < 5
?
1, 8 ≤ ?
? 4 =
1
10
?=1
10
?(?? ≤ ?)
=
1
10
? ?1 ≤ 4 + ? ?2 ≤ 4 + ? ?3 ≤ 4
+? ?4 ≤ 4 + ? ?5 ≤ 4 + ? ?6 ≤ 4
+? ?7 ≤ 4 + ? ?8 ≤ 4 + ? ?9 ≤ 4 + ? ?10 ≤ 4 )
=
1
10
? 1 ≤ 4 + ? 3 ≤ 4 + ? 3 ≤ 4
+? 5 ≤ 4 + ? 6 ≤ 4 + ? 7 ≤ 4
+? 7 ≤ 4 + ? 7 ≤ 4 + ? 8 ≤ 4 + ? 8 ≤ 4 )
=
1
10
1 + 1 + 1 + 0 + 0 + 0 + 0 + 0 + 0 + 0 = 0.3
x=4のとき

Statistical Functional
0.0
0.1
0.2
0.3
0.4
1 2 3 4 5
0.00
0.25
0.50
0.75
1.00
1 2 3 4 5
PMF:?(?)
? 2 = 0.4
CDF:?(?)
? = 2
? 2 = 0.6
? 1 = 0.2
?? ?
??
= 0.4, ?? ? = 2
?? ?
??
= ?(?)
?? ? = ? ? ??
とできる。
これは、連続値のPDFでも同様なので、
CDFの傾きとPMFの個別の値が一致する
ことを利用して、
? ? = ? ??(?) = ? ? ? ?? =
?
? ?(?)
Statistical Functional とは、推定したい
値をCDFを含んだ形とすること？で、
例えば、E(X)であれば、

Statistical Functional
? = ? ? = ? ? = ? ??(?) = ? ? ? ??
? = ? ? = ?2
= ?2
??(?) ? ? ? ? ??
2
このように、平均や分散等、色々な統計的な推定したい値をF(x)を用いて表現可能。

Plug-in Estimator
母集団?
？
手元の
データ
ここで、母集団からMを推定したい場合、Fの分布がわかっていれば、Mを推定できるが、
それがわからないので、???: ?(?)の代わりに、???: ?(?)を用いる！
?は?のplug-in estimator!
? = ?(?) ? = ?( ?)

? ? =
1
?
?=1
?
?(?? ≤ ?)
まとめるｔ、EDF: ?(?)は、
? ? =
0, ? < 1
0.1, 1 ≤ ? < 3
0.3, 3 ≤ ? < 5
?
1, 8 ≤ ?
その、PMF(?(?))は、
? ? =
1
?
, ? ∈ {?1, ?2, ? ? ?}
? = ? ? = ? ? ? ?(?) = ? ? ? ? ?? =
1
?
?=1
?
?(?)
?? ?
??
= ?(?)
なので、
? =
1
?
?=1
?
?(?)

分散を求めてみると
? = ? ? = ?2
= ?2 ? ? (?) ? ? ? ? ??
2
= ?2
? ? ?? ? ?? ? ??
2
=
1
?
?=1
?
?2
?
1
?
?=1
?
?
2
と、EDFから ?を求めることは比較的簡単！
ここで、この ?の分散を求める場合は、

母
集
団
？
→ ?1
n個のRS
→ ?2
→ ? ?
?
?
?
平均
?[ ?] =
1
?
?=1
?
??
分散
???( ?) =
1
?
?=1
?
( ??)2
?
1
?
?=1
?
??
2
手
元
の
デ
ー
タ
RS
とすることで求めることができる
分布：?
分布： ?

ここで、ブートストラップで推定した???( ?)が母集団のMの分散と一致するためには何が必要かを考えると、
母
集
団
？
→ ?1
n個のRS
→ ?2
→ ? ?
?
?
?
平均
?[ ?] =
1
?
?=1
?
??
分散
???( ?) =
1
?
?=1
?
( ??)2
?
1
?
?=1
?
??
2
手
元
の
デ
ー
タ
RS
分布：?
分布： ?
仮定1
仮定2

???( ?) =
1
?
?=1
?
( ??)2
?
1
?
?=1
?
??
2
分布：? 分布： ?
仮定1
仮定2
仮定1：
母集団の分布のCDF（?）と手元のデータのEDF（ ?）が近似できること
また、
分散を求める関数がSmoothness Conditionを満たしていること（微分可能なこと）
???(?; ?) ???( ?; ?)
仮定2：
??? ? と???( ?; ?)が近似できること
?CDFとEDFが近似できるかどうかはわからないものの、データ数が十分に多ければ
ある程度近似できる？
?微分可能な条件等については、調べきれていないが、分散は問題なしとのこと。
?ここの近似は、Bの数を大きくすること（サンプリング回数を大きくする）こと
で、問題はなさそう。

狠狠撸

Bootstrap methodの勉強メモ

More Related Content

What's hot (20)

Similar to Bootstrap methodの勉強メモ (20)

Bootstrap methodの勉強メモ