狠狠撸

狠狠撸Share a Scribd company logo
2007.05.22   期待値と平均を追加
            2007.05.22   中心極限定理グラフ追加
            2008.06.24   グラフ追加
            2012.06.12   条件付き確率の値修正
            2012.07.09   一様分布の期待値追加




条件付確率?独立性
期待値と分散
中心極限定理
条件付確率 (conditional prob.)

 事象 A が起きたという条件の下で
 事象 B が起きる確率を考える B
               Pr( A ∩ B )
  Pr( B | A) =
                 Pr( A)
                                        A
 例 女性で身長が170cm以上
                       Pr(身長 ≥ 170.0  かつ 女性)
 Pr(身長 ≥ 170.0 | 女性) =
                                 Pr(女性)
                       0.003976
                     =          = 0.0082
                         0.485
独立事象

条件付確率が条件に無関係のとき
2 つの事象は独立という
 Pr( B | A) = Pr( B )
              Pr( A ∩ B )
 Pr( B | A) =             = Pr( B )
                Pr( A)
 Pr( A ∩ B ) = Pr( A) Pr( B )
条件付分布

X=x という条件の下での Y の分布
 G ( y | x) = Pr(Y < y | X = x)
              Pr(Y < y and X = x)
            =
                          Pr( X = x)
              h ( x, y )
 g ( y | x) =
                f ( x)
 h( x, y ) = f ( x ) g ( y | x )
      g ( y ) f ( x | y )
            =
確率変数の独立性

2 つの確率変数 X, Y が独立
 分布関数
  H ( x, y ) = Pr( X < x, Y < y )
        Pr( X < x) Pr(Y < y )
      =
        F ( x)G ( y )
      =

 密度関数
   h ( x, y ) = f ( x ) g ( y )
期待値 (Expectation)

 データの平均(代表値、どんな値)
   data : x1 , x2 ,? , xn
              x1 + x2 + ? + xn
   mean : x =
                      n
 確率変数(分布)の期待値(どんな値)
   取り得る値 : a1 , a2 ,? , ak
   各値の確率 : p1 , p2 ,? , pk


   平均 : E ( X ) = a1 p1 + a2 p2 + ? + ak pk
確率分布    度数分布表

値     確率          階級              階級値      相対度数

a1    p1          a0~a1           m1       f1
a2    p2          a1~a2           m2       f2


ak    pk          ak-1~ak         mk       fk
合計    1.00        合計                       1.00
     E ( X ) = a1 p1 + a2 p2 + ? + ak pk
       x = m1 f1 + m2 f 2 + ? + mk f k
確率分布    度数分布表

値     確率          階級              階級値      相対度数

a1    p1          a0~a1           m1       f1
a2    p2          a1~a2           m2       f2


ak    pk          ak-1~ak         mk       fk
合計    1.00        合計                       1.00
     E ( X ) = a1 p1 + a2 p2 + ? + ak pk
       x = m1 f1 + m2 f 2 + ? + mk f k
  確率分布  度数分布表(離散
型)
値    確率                   データ 度数                      相対度数
a1   p1                   x1              f1          f'1
a2   p2                   x2              f2          f'2


ak   pk                   xk              fk          f'k
合計   1.00                 合計              n           1.00
            x = ( x1 f1 + x2 f 2 + ? + xk f k ) / n
                  f1         f               f
              x1
             =       + x2 2 + ? + xk k
                  n          n               n
              x1 f1' + x2 f 2' + ? + xk f k'
             =
          E ( X ) = a1 p1 + a2 p2 + ? + ak pk
  度数分布表(連続型データ)
階級          階級値 度数 相対度数
a0~a1       m1              f1            f'1
                                                 データ            度数           相対度数

a1~a2       m2              f2            f'2    x1             f1           f'1

                                                 x2             f2           f'2




ak-1~ak     mk              fk            f'k
                                                 xk             fk           f'k

                                                 合計             n            1.00


合計                          n             1.00          x = ( x1 f1 + x2 f 2 + ? + xk f k ) / n
                                                              f1         f               f
                                                          x1
                                                         =       + x2 2 + ? + x k k
      x = (m1 f1 + m2 f 2 + ? + mk f k ) / n                  n          n               n
                                                          x1 f1' + x2 f 2' + ? + xk f k'
                                                         =
            f1         f               f              E ( X ) = a1 p1 + a2 p2 + ? + ak pk
        m1
       =       + m2 2 + ? + mk k
            n          n               n
        m1 f1' + m2 f 2' + ? + mk f k'
       =
    E ( X ) = a1 p1 + a2 p2 + ? + ak pk
連続型分布の期待値
小区間        中点         確率      近似確率
a0~a1      m1         p1      p'1
a1~a2      m2         p2      p'2


ak-1~ak    mk         pk      p'k
合計                    1.00

小区間[ai ?1 , ai ]の間の値を取る確率              a0 a1 a2                   ai?1 ai                           ak
      ai
pi = ∫ f ( x) dx               E( X )
      ai?1
                               = lim{m1 p '1 + m2 p '2 + ? + mk p 'k }
   f (mi )(ai ? ai ?1 ) = p 'i
   ≈                              k →∞

   = 小長方形の面積                   = lim{m1 f (m1 )(a1 ? a0 ) + m2 f (m2 )(a2 ? a2 ) + ? + mk f (mk )(ak ? ak ?1 )}
                                        k →∞
                                                k
                                     = lim ∑ mi f ( mi )(ai ? ai ?1 )
                                        k →∞   i =1
                                        b
                                     → ∫ xf ( x)dx
                                        a
期待値
X   確率変数
f ( x)   Xの密度関数


Xの期待値(平均)                                  離散型の場合は
               ∞                           積分の代わりに
  E ( X ) = ∫ x f ( x)dx                   和 (Σ) を使う
              ?∞
                   ∞
  E (? ( X )) = ∫ ? ( x) f ( x)dx
                   ?∞

Xの分散:? ( x) = {x ? E ( X )}2 の期待値
  V ( X ) = E ( X ? E ( X )) 2    ? ( x) = {x ? E ( X )}2
              ∞
      ∫ {x ? E ( X )}2 f ( x)dx
    =
              ?∞

      E ( X 2 ) ? {E ( X )}2
    =
次の宝くじの期待金額を求めよ
う

等x    確率        当選金          Xの期待値
                 φ(x)
                             E( X )
1     1/1000     10,000
2
                                    1         1        1     889
      1/100       5,000      = 1×       + 2×     + 3× + 4 ×
                                  1000       100      10    1000
3      1/10        100
                                 1       2    3       889
4    889/1000           0    =       +      + + 4×
                               1000 100 10           1000
                               3877
                             =        = 3.877
                               1000

                            期待金額  ? ( X )の期待値
                            E (? ( X ))
                                        1              1            1          889
                            = ? (1) ×      + ? ( 2) ×     + ? (3) × + ? (4) ×
                                      1000            100          10         1000
                                          1               1            1      889
                            = 10,000 ×        + 5,000 ×       + 100 × + 0 ×
                                        1000             100          10     1000
                                 =10 + 50 + 10 + 0 = 70
期待値と分散
X   確率変数
f ( x)   Xの密度関数


Xの期待値(平均)                                  離散型の場合は
               ∞                           積分の代わりに
  E ( X ) = ∫ x f ( x)dx                   和 (Σ) を使う
              ?∞
                   ∞
  E (? ( X )) = ∫ ? ( x) f ( x)dx
                   ?∞

Xの分散:? ( x) = {x ? E ( X )}2 の期待値
  V ( X ) = E ( X ? E ( X )) 2    ? ( x) = {x ? E ( X )}2
              ∞
      ∫ {x ? E ( X )}2 f ( x)dx
    =
              ?∞

      E ( X 2 ) ? {E ( X )}2
    =
二項分布の期待値
 X ~ Bi (n, p)
             n                 n
 E ( X ) = ∑ x p x = ∑ x n C x p x (1 ? p) n ? x
            x =0              x =0
            n
              n!
     ∑ x
   =                 p x (1 ? p ) n ? x
     x =0 x!(n ? x)!
            n
                         n!
     ∑
   =                                 p x (1 ? p) n ? x
            x =1 ( x ? 1)!( n ? x )!
            n
                   n(n ? 1)!
     ∑
   =                                    pp ( x ?1) (1 ? p) ( n ?1) ?( x ?1)
     x =1 ( x ? 1)!( n ? 1 ? ( x ? 1))!
                   n ?1
                             (n ? 1)!
     n p ∑
   =                                      p y (1 ? p) ( n ?1) ? y
                   y =0   y!(n ? 1 ? y )!
     n p
   =
一様分布の期待値
区間 [0, 1] の一様分布                                密度関数 f(x)
 E( X )                                                  ?1 0 ≤ x ≤ 1
     ∞                                          f ( x) = ?
 =   ∫ xf ( x)dx
     ?∞
                                                         ?0 その他
     0                 1         ∞
 =   ∫ xf ( x)dx + ∫ xf ( x)dx + ∫ xf ( x)dx
     ?∞                0         1
     0             1         ∞
 =   ∫ x × 0dx + ∫ x ×1dx + ∫ x × 0dx
     ?∞            0         1
          1
 = 0 + ∫ x ×1dx + 0
          0
                       1
     1
           ? x2 ?     1
 = ∫ xdx = ? ? =
   0       ? 2 ? x =0 2
主な分布の期待と分散
X ~ Bi (n, p )
  E ( X ) = np,   V ( X ) = npq
X ~ Po(λ )
  E ( X ) = λ ,   V ( X ) = λ
 X ~ U ( a, b)
  E ( X ) = (a + b) / 2,   V ( X ) = (b ? a ) / 12
                                             2


 X ~ N (? ,σ )   2


  E ( X ) = ? ,    V ( X ) = σ    2
期待値と分散の性質
 E (aX + b) = aE ( X ) + b
    ∫ (ax + b) f ( x)dx = a ∫ xf ( x)dx + b ∫ f ( x)dx
  ?
           aE ( x)    b
         =           +
 V (aX + b) = a 2V ( X )
    ∫ {( ax + b) ? E (aX + b)}2 f ( x)dx
  ?

    ∫ {a ( x ? E ( X )}2 f ( x)dx = a 2 ∫ ( x ? E ( X )) 2 f ( x)dx
  =
    a 2V ( X )
  =

 E ( X + Y ) = E ( X ) + E (Y )
 X ⊥ Y ? V ( X + Y ) = V ( X ) + V (Y )
独立、同一分布に従う和の分布
X 1 , X 2 ,?, X n    iid
E( X i ) = ?, V ( X i ) = σ 2
     1 n
? X = ∑ X i   の期待値と分散
     n i =1
               1 n       1 n           1 n
  E ( X ) = E ( ∑ X i ) = ∑ E ( X i ) = ∑ ? =?
               n i =1    n i =1        n i =1
               1 n         1 2 n             1 2 n 2 σ2
  V ( X ) = V ( ∑ X i ) = ( ) ∑ V ( X i ) = ( ) ∑ σ =
               n i =1      n i =1            n i =1   n
正規分布の再生成

X ~ N ( ?1 , σ )
             2
             1

Y ~ N ( ? 2 , σ ), X ⊥ Y
             2
             2

=>
Z = aX + bY ~ N (a?1 + b? 2 , a σ + b σ )
                             2   2
                                 1
                                     2   2
                                         2
X 1 , X 2 ,?, X n ~ N ( ? , σ )
                            2




         n
   1
X = ∑ X i ~ N ( ? , σ / n)
                     2

   n i =1


      X ??
Z=             ~ N (0,1)
      σ /n
         2
中心極限定理
 Central Limit Theorem

X1, X2, ..., Xn は同じ分布 F(x) に従い独立
   E(X)=μ      平均存在
   Var(X)=σ2    分散存在


    =ΣXi/n の分布は n->∞ のとき 
  X
     
      N(μ,σ2/n) に収束

実用的には n≧25
一様分布の場合
X が区間 [0, 1] の一様分布
  E(X)=1/2, Var(X)=1/12
     n=2                  n=3
X i ~  U [0,1]
Z = X 1 のpdf 
                 1 0 < x <1
   u1 ( x) = {
              0     その他

Z = X 1 + X 2  のpdf


                 {
                      z      0 < z <1
    u2 ( x) =       2? z 1< z < 2
                     0   その他


Z = X 1 + X 2 + X 3  のpdf
                               z2          0 < z <1

     u3 ( x) =     {  ? z 2 + 3z ? 3 / 2 1 < z < 2
                          ( z ? 3) 2 / 2   2< z<3
                                0          その他
n= 1                                               n= 2                                         n= 3                                       n= 4                                      n= 5




                                                                                                                                                                    0.4




                                                                                                                                                                                                              0.4
     Density




                                                          Density




                                                                                                         Density




                                                                                                                                                          Density




                                                                                                                                                                                                    Density
               0.20




                                                                                                                   0.2
                                                                    0.2




                                                                                                                                                                    0.2




                                                                                                                                                                                                              0.2
               0.00




                                                                    0.0




                                                                                                                   0.0




                                                                                                                                                                    0.0




                                                                                                                                                                                                              0.0
                           -2    -1     0     1       2                        -2   -1     0     1   2                    -3         -1 0     1 2     3                   -3    -1 0    1   2   3                    -3   -1 0 1 2 3

matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i),(apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5
                                   2, mean) - 0.5) * sqrt(12 i)              2, mean) - 0.5) * sqrt(12 * i)           2, mean) - 0.5) * sqrt(12 i)               2, mean) - 0.5) * sqrt(12 i)



                                      n= 6                                               n= 7                                         n= 8                                       n= 9                                     n= 10
                                                                    0.4




                                                                                                                                                                    0.4
     Density




                                                          Density




                                                                                                         Density




                                                                                                                                                          Density




                                                                                                                                                                                                    Density
                                                                                                                   0.20
               0.00 0.20




                                                                                                                                                                                                              0.2
                                                                    0.2




                                                                                                                                                                    0.2
                                                                                                                   0.00
                                                                    0.0




                                                                                                                                                                    0.0




                                                                                                                                                                                                              0.0
                           -3     -1 0 1 2 3                               -3        -1 0 1 2 3                            -3        -1 0 1 2 3                           -3    -1 0    1   2   3                    -3   -1   1 2 3

matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i),(apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5
                                   2, mean) - 0.5) * sqrt(12 i)              2, mean) - 0.5) * sqrt(12 * i)           2, mean) - 0.5) * sqrt(12 i)               2, mean) - 0.5) * sqrt(12 i)



                                      n= 11                                              n= 12                                       n= 13                                      n= 14                                     n= 15

                                                                                                                   0.4
               0.4




                                                                                                                                                                    0.4
                                                                    0.4
     Density




                                                          Density




                                                                                                         Density




                                                                                                                                                          Density




                                                                                                                                                                                                    Density
                                                                                                                   0.2




                                                                                                                                                                                                              0.2
               0.2




                                                                                                                                                                    0.2
                                                                    0.2
               0.0




                                                                    0.0




                                                                                                                   0.0




                                                                                                                                                                    0.0




                                                                                                                                                                                                              0.0
                            -3        -1 0 1      2                       -4        -2         0 1 2 3                          -2        0    2      4                    -3   -1     1 2 3                         -2    0   1   2       3

matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i),(apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5
                                   2, mean) - 0.5) * sqrt(12 i)              2, mean) - 0.5) * sqrt(12 * i)           2, mean) - 0.5) * sqrt(12 i)               2, mean) - 0.5) * sqrt(12 i)



                                      n= 16                                              n= 17                                       n= 18                                      n= 19                                     n= 20


                                                                                                                                                                    0.4




                                                                                                                                                                                                              0.4
                                                                    0.4
               0.2 0.4
     Density




                                                          Density




                                                                                                         Density




                                                                                                                                                          Density




                                                                                                                                                                                                    Density
                                                                                                                   0.2




                                                                                                                                                                    0.2




                                                                                                                                                                                                              0.2
                                                                    0.2
               0.0




                                                                    0.0




                                                                                                                   0.0




                                                                                                                                                                    0.0




                                                                                                                                                                                                              0.0
                           -4    -2         0 1 2 3                       -3        -1 0 1 2 3                             -3        -1       1 2 3                        -3   -1     1 2 3                        -3    -1 0 1       2       3

matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i),(apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5
                                   2, mean) - 0.5) * sqrt(12 i)              2, mean) - 0.5) * sqrt(12 * i)           2, mean) - 0.5) * sqrt(12 i)               2, mean) - 0.5) * sqrt(12 i)
Density                                                           Density

                   0.0   0.1    0.2             0.3                 0.4   0.0   0.5    0.1        0.2             0.3   0.4   0.5




                                                                    -4




              -4
                                                                    -2




              -2
                                                                    0




              0
                                                                                                                                    N=1




                                                                                            N=3




                                                      scale(data)




scale(data)
                                                                    2




              2
                                                                    4




              4
                                     Density                                                            Density

                   0.0   0.1   0.2             0.3              0.4       0.0 0.5      0.1        0.2             0.3   0.4   0.5




              -4
                                                                    -4




              -2
                                                                    -2




              0
                                                                    0
                                                                                      N=4
                                                                                                                                    N=2




scale(data)
                                                      scale(data)




              2
                                                                    2




              4
                                                                    4
Ad

Recommended

第4回惭补肠丑颈苍别尝别补谤苍颈苍驳のための数学塾资料(浅川)
第4回惭补肠丑颈苍别尝别补谤苍颈苍驳のための数学塾资料(浅川)
Shin Asakawa
?
回帰
回帰
Shin Asakawa
?
050 確率と確率分布
050 確率と確率分布
t2tarumi
?
K040 確率分布とchi2分布
K040 確率分布とchi2分布
t2tarumi
?
Linera lgebra
Linera lgebra
Shin Asakawa
?
PRML 10.4 - 10.6
PRML 10.4 - 10.6
Akira Miyazawa
?
シンギュラリティを知らずに机械学习を语るな
シンギュラリティを知らずに机械学习を语るな
hoxo_m
?
経験过程
経験过程
hoxo_m
?
确率论基础
确率论基础
hoxo_m
?
最急降下法
最急降下法
Akira Miyazawa
?
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
sleipnir002
?
Master Thesis
Master Thesis
Toshiyuki Shimono
?
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
?
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定
t2tarumi
?
Introduction to the particle filter
Introduction to the particle filter
Satoshi Minakuchi
?
A yet another brief introduction to neural networks
A yet another brief introduction to neural networks
Yuta Kikuchi
?
20170327冲レムニスケートにまつわる色々な计算
20170327冲レムニスケートにまつわる色々な计算
matsumoring
?
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
sleepy_yoshi
?
今さら闻けないカーネル法とサポートベクターマシン
今さら闻けないカーネル法とサポートベクターマシン
Shinya Shimizu
?
スペクトラル?クラスタリング
スペクトラル?クラスタリング
Akira Miyazawa
?
若手研究者のための招待讲演会
若手研究者のための招待讲演会
Joe Suzuki
?
統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333
Issei Kurahashi
?
第8章 カ?ウス過程回帰による異常検知
第8章 カ?ウス過程回帰による異常検知
Chika Inoshita
?
渐化式と微分积分
渐化式と微分积分
政孝 鍋島
?
渐化式と微分积分
渐化式と微分积分
nabeshimamasataka
?

More Related Content

What's hot (20)

K040 確率分布とchi2分布
K040 確率分布とchi2分布
t2tarumi
?
Linera lgebra
Linera lgebra
Shin Asakawa
?
PRML 10.4 - 10.6
PRML 10.4 - 10.6
Akira Miyazawa
?
シンギュラリティを知らずに机械学习を语るな
シンギュラリティを知らずに机械学习を语るな
hoxo_m
?
経験过程
経験过程
hoxo_m
?
确率论基础
确率论基础
hoxo_m
?
最急降下法
最急降下法
Akira Miyazawa
?
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
sleipnir002
?
Master Thesis
Master Thesis
Toshiyuki Shimono
?
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
?
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定
t2tarumi
?
Introduction to the particle filter
Introduction to the particle filter
Satoshi Minakuchi
?
A yet another brief introduction to neural networks
A yet another brief introduction to neural networks
Yuta Kikuchi
?
20170327冲レムニスケートにまつわる色々な计算
20170327冲レムニスケートにまつわる色々な计算
matsumoring
?
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
sleepy_yoshi
?
今さら闻けないカーネル法とサポートベクターマシン
今さら闻けないカーネル法とサポートベクターマシン
Shinya Shimizu
?
スペクトラル?クラスタリング
スペクトラル?クラスタリング
Akira Miyazawa
?
若手研究者のための招待讲演会
若手研究者のための招待讲演会
Joe Suzuki
?
統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333
Issei Kurahashi
?
第8章 カ?ウス過程回帰による異常検知
第8章 カ?ウス過程回帰による異常検知
Chika Inoshita
?
K040 確率分布とchi2分布
K040 確率分布とchi2分布
t2tarumi
?
シンギュラリティを知らずに机械学习を语るな
シンギュラリティを知らずに机械学习を语るな
hoxo_m
?
経験过程
経験过程
hoxo_m
?
确率论基础
确率论基础
hoxo_m
?
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
sleipnir002
?
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
?
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定
t2tarumi
?
Introduction to the particle filter
Introduction to the particle filter
Satoshi Minakuchi
?
A yet another brief introduction to neural networks
A yet another brief introduction to neural networks
Yuta Kikuchi
?
20170327冲レムニスケートにまつわる色々な计算
20170327冲レムニスケートにまつわる色々な计算
matsumoring
?
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
sleepy_yoshi
?
今さら闻けないカーネル法とサポートベクターマシン
今さら闻けないカーネル法とサポートベクターマシン
Shinya Shimizu
?
スペクトラル?クラスタリング
スペクトラル?クラスタリング
Akira Miyazawa
?
若手研究者のための招待讲演会
若手研究者のための招待讲演会
Joe Suzuki
?
統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333
Issei Kurahashi
?
第8章 カ?ウス過程回帰による異常検知
第8章 カ?ウス過程回帰による異常検知
Chika Inoshita
?

Similar to 060 期待値?中心極限定理 (20)

渐化式と微分积分
渐化式と微分积分
政孝 鍋島
?
渐化式と微分积分
渐化式と微分积分
nabeshimamasataka
?
wq-1. ポアソン分布、指数分布、アーラン分布
wq-1. ポアソン分布、指数分布、アーラン分布
kunihikokaneko1
?
极限の问题
极限の问题
nabeshimamasataka
?
C03
C03
anonymousouj
?
8.4 グラフィカルモデルによる推論
8.4 グラフィカルモデルによる推論
sleepy_yoshi
?
パターン认识と机械学习6章(カーネル法)
パターン认识と机械学习6章(カーネル法)
Yukara Ikemiya
?
离散构造と离散分布
离散构造と离散分布
Masakazu Ishihata
?
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
?
Re revenge chap03-1
Re revenge chap03-1
裕樹 奥田
?
関数列の极限
関数列の极限
政孝 鍋島
?
関数列の极限
関数列の极限
nabeshimamasataka
?
2020年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2020. 10. 9)
2020年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2020. 10. 9)
Akira Asano
?
PRML セミナー
PRML セミナー
sakaguchi050403
?
渐化式と微分积分
渐化式と微分积分
政孝 鍋島
?
wq-1. ポアソン分布、指数分布、アーラン分布
wq-1. ポアソン分布、指数分布、アーラン分布
kunihikokaneko1
?
8.4 グラフィカルモデルによる推論
8.4 グラフィカルモデルによる推論
sleepy_yoshi
?
パターン认识と机械学习6章(カーネル法)
パターン认识と机械学习6章(カーネル法)
Yukara Ikemiya
?
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
?
2020年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2020. 10. 9)
2020年度秋学期 画像情報処理 第3回 フーリエ変換とサンプリング定理 (2020. 10. 9)
Akira Asano
?
Ad

More from t2tarumi (17)

K090 仮説検定
K090 仮説検定
t2tarumi
?
K070k80 点推定 区間推定
K070k80 点推定 区間推定
t2tarumi
?
K070 点推定
K070 点推定
t2tarumi
?
K060 中心極限定理clt
K060 中心極限定理clt
t2tarumi
?
K050 t分布f分布
K050 t分布f分布
t2tarumi
?
K030 appstat201203 2variable
K030 appstat201203 2variable
t2tarumi
?
K020 appstat201202
K020 appstat201202
t2tarumi
?
K010 appstat201201
K010 appstat201201
t2tarumi
?
K080 区間推定
K080 区間推定
t2tarumi
?
000 統計学入門 目標
000 統計学入門 目標
t2tarumi
?
086 独立性の検定
086 独立性の検定
t2tarumi
?
076 母比率の推定
076 母比率の推定
t2tarumi
?
080 統計的推測 検定
080 統計的推測 検定
t2tarumi
?
030 2変数の集計
030 2変数の集計
t2tarumi
?
020 1変数の集計
020 1変数の集計
t2tarumi
?
010 統計学とは
010 統計学とは
t2tarumi
?
K090 仮説検定
K090 仮説検定
t2tarumi
?
K070k80 点推定 区間推定
K070k80 点推定 区間推定
t2tarumi
?
K070 点推定
K070 点推定
t2tarumi
?
K060 中心極限定理clt
K060 中心極限定理clt
t2tarumi
?
K050 t分布f分布
K050 t分布f分布
t2tarumi
?
K030 appstat201203 2variable
K030 appstat201203 2variable
t2tarumi
?
K020 appstat201202
K020 appstat201202
t2tarumi
?
K010 appstat201201
K010 appstat201201
t2tarumi
?
K080 区間推定
K080 区間推定
t2tarumi
?
000 統計学入門 目標
000 統計学入門 目標
t2tarumi
?
086 独立性の検定
086 独立性の検定
t2tarumi
?
076 母比率の推定
076 母比率の推定
t2tarumi
?
080 統計的推測 検定
080 統計的推測 検定
t2tarumi
?
030 2変数の集計
030 2変数の集計
t2tarumi
?
020 1変数の集計
020 1変数の集計
t2tarumi
?
010 統計学とは
010 統計学とは
t2tarumi
?
Ad

060 期待値?中心極限定理

  • 1. 2007.05.22 期待値と平均を追加 2007.05.22 中心極限定理グラフ追加 2008.06.24 グラフ追加 2012.06.12 条件付き確率の値修正 2012.07.09 一様分布の期待値追加 条件付確率?独立性 期待値と分散 中心極限定理
  • 2. 条件付確率 (conditional prob.) 事象 A が起きたという条件の下で 事象 B が起きる確率を考える B Pr( A ∩ B ) Pr( B | A) = Pr( A) A 例 女性で身長が170cm以上 Pr(身長 ≥ 170.0  かつ 女性) Pr(身長 ≥ 170.0 | 女性) = Pr(女性) 0.003976            = = 0.0082 0.485
  • 3. 独立事象 条件付確率が条件に無関係のとき 2 つの事象は独立という Pr( B | A) = Pr( B ) Pr( A ∩ B ) Pr( B | A) = = Pr( B ) Pr( A) Pr( A ∩ B ) = Pr( A) Pr( B )
  • 4. 条件付分布 X=x という条件の下での Y の分布 G ( y | x) = Pr(Y < y | X = x) Pr(Y < y and X = x)      = Pr( X = x) h ( x, y ) g ( y | x) = f ( x) h( x, y ) = f ( x ) g ( y | x )      g ( y ) f ( x | y ) =
  • 5. 確率変数の独立性 2 つの確率変数 X, Y が独立 分布関数 H ( x, y ) = Pr( X < x, Y < y )      Pr( X < x) Pr(Y < y ) =      F ( x)G ( y ) = 密度関数 h ( x, y ) = f ( x ) g ( y )
  • 6. 期待値 (Expectation) データの平均(代表値、どんな値) data : x1 , x2 ,? , xn x1 + x2 + ? + xn mean : x = n 確率変数(分布)の期待値(どんな値) 取り得る値 : a1 , a2 ,? , ak 各値の確率 : p1 , p2 ,? , pk 平均 : E ( X ) = a1 p1 + a2 p2 + ? + ak pk
  • 7. 確率分布    度数分布表 値 確率 階級 階級値 相対度数 a1 p1 a0~a1 m1 f1 a2 p2 a1~a2 m2 f2 ak pk ak-1~ak mk fk 合計 1.00 合計 1.00 E ( X ) = a1 p1 + a2 p2 + ? + ak pk   x = m1 f1 + m2 f 2 + ? + mk f k
  • 8. 確率分布    度数分布表 値 確率 階級 階級値 相対度数 a1 p1 a0~a1 m1 f1 a2 p2 a1~a2 m2 f2 ak pk ak-1~ak mk fk 合計 1.00 合計 1.00 E ( X ) = a1 p1 + a2 p2 + ? + ak pk   x = m1 f1 + m2 f 2 + ? + mk f k
  • 9.   確率分布  度数分布表(離散 型) 値 確率 データ 度数 相対度数 a1 p1 x1 f1 f'1 a2 p2 x2 f2 f'2 ak pk xk fk f'k 合計 1.00 合計 n 1.00   x = ( x1 f1 + x2 f 2 + ? + xk f k ) / n f1 f f     x1 = + x2 2 + ? + xk k n n n     x1 f1' + x2 f 2' + ? + xk f k' = E ( X ) = a1 p1 + a2 p2 + ? + ak pk
  • 10.   度数分布表(連続型データ) 階級 階級値 度数 相対度数 a0~a1 m1 f1 f'1 データ 度数 相対度数 a1~a2 m2 f2 f'2 x1 f1 f'1 x2 f2 f'2 ak-1~ak mk fk f'k xk fk f'k 合計 n 1.00 合計 n 1.00   x = ( x1 f1 + x2 f 2 + ? + xk f k ) / n f1 f f     x1 = + x2 2 + ? + x k k   x = (m1 f1 + m2 f 2 + ? + mk f k ) / n n n n     x1 f1' + x2 f 2' + ? + xk f k' = f1 f f E ( X ) = a1 p1 + a2 p2 + ? + ak pk     m1 = + m2 2 + ? + mk k n n n     m1 f1' + m2 f 2' + ? + mk f k' = E ( X ) = a1 p1 + a2 p2 + ? + ak pk
  • 11. 連続型分布の期待値 小区間 中点 確率 近似確率 a0~a1 m1 p1 p'1 a1~a2 m2 p2 p'2 ak-1~ak mk pk p'k 合計 1.00 小区間[ai ?1 , ai ]の間の値を取る確率 a0 a1 a2 ai?1 ai ak ai pi = ∫ f ( x) dx E( X ) ai?1 = lim{m1 p '1 + m2 p '2 + ? + mk p 'k }    f (mi )(ai ? ai ?1 ) = p 'i ≈ k →∞ = 小長方形の面積 = lim{m1 f (m1 )(a1 ? a0 ) + m2 f (m2 )(a2 ? a2 ) + ? + mk f (mk )(ak ? ak ?1 )} k →∞ k = lim ∑ mi f ( mi )(ai ? ai ?1 ) k →∞ i =1 b → ∫ xf ( x)dx a
  • 12. 期待値 X   確率変数 f ( x)   Xの密度関数 Xの期待値(平均) 離散型の場合は ∞ 積分の代わりに   E ( X ) = ∫ x f ( x)dx  和 (Σ) を使う ?∞ ∞   E (? ( X )) = ∫ ? ( x) f ( x)dx ?∞ Xの分散:? ( x) = {x ? E ( X )}2 の期待値   V ( X ) = E ( X ? E ( X )) 2    ? ( x) = {x ? E ( X )}2 ∞       ∫ {x ? E ( X )}2 f ( x)dx = ?∞       E ( X 2 ) ? {E ( X )}2 =
  • 13. 次の宝くじの期待金額を求めよ う 等x 確率 当選金 Xの期待値 φ(x) E( X ) 1 1/1000 10,000 2 1 1 1 889 1/100 5,000 = 1× + 2× + 3× + 4 × 1000 100 10 1000 3 1/10 100 1 2 3 889 4 889/1000 0 = + + + 4× 1000 100 10 1000 3877 = = 3.877 1000 期待金額  ? ( X )の期待値 E (? ( X )) 1 1 1 889 = ? (1) × + ? ( 2) × + ? (3) × + ? (4) × 1000 100 10 1000 1 1 1 889 = 10,000 × + 5,000 × + 100 × + 0 × 1000 100 10 1000      =10 + 50 + 10 + 0 = 70
  • 14. 期待値と分散 X   確率変数 f ( x)   Xの密度関数 Xの期待値(平均) 離散型の場合は ∞ 積分の代わりに   E ( X ) = ∫ x f ( x)dx  和 (Σ) を使う ?∞ ∞   E (? ( X )) = ∫ ? ( x) f ( x)dx ?∞ Xの分散:? ( x) = {x ? E ( X )}2 の期待値   V ( X ) = E ( X ? E ( X )) 2    ? ( x) = {x ? E ( X )}2 ∞       ∫ {x ? E ( X )}2 f ( x)dx = ?∞       E ( X 2 ) ? {E ( X )}2 =
  • 15. 二項分布の期待値 X ~ Bi (n, p) n n E ( X ) = ∑ x p x = ∑ x n C x p x (1 ? p) n ? x x =0 x =0 n n!     ∑ x = p x (1 ? p ) n ? x x =0 x!(n ? x)! n n!     ∑ = p x (1 ? p) n ? x x =1 ( x ? 1)!( n ? x )! n n(n ? 1)!     ∑ = pp ( x ?1) (1 ? p) ( n ?1) ?( x ?1) x =1 ( x ? 1)!( n ? 1 ? ( x ? 1))! n ?1 (n ? 1)!     n p ∑ = p y (1 ? p) ( n ?1) ? y y =0 y!(n ? 1 ? y )!     n p =
  • 16. 一様分布の期待値 区間 [0, 1] の一様分布 密度関数 f(x) E( X ) ?1 0 ≤ x ≤ 1 ∞ f ( x) = ? = ∫ xf ( x)dx ?∞ ?0 その他 0 1 ∞ = ∫ xf ( x)dx + ∫ xf ( x)dx + ∫ xf ( x)dx ?∞ 0 1 0 1 ∞ = ∫ x × 0dx + ∫ x ×1dx + ∫ x × 0dx ?∞ 0 1 1 = 0 + ∫ x ×1dx + 0 0 1 1 ? x2 ? 1 = ∫ xdx = ? ? = 0 ? 2 ? x =0 2
  • 17. 主な分布の期待と分散 X ~ Bi (n, p )   E ( X ) = np,   V ( X ) = npq X ~ Po(λ )   E ( X ) = λ ,   V ( X ) = λ X ~ U ( a, b)   E ( X ) = (a + b) / 2,   V ( X ) = (b ? a ) / 12 2 X ~ N (? ,σ ) 2   E ( X ) = ? ,    V ( X ) = σ 2
  • 18. 期待値と分散の性質 E (aX + b) = aE ( X ) + b    ∫ (ax + b) f ( x)dx = a ∫ xf ( x)dx + b ∫ f ( x)dx ?           aE ( x)    b = + V (aX + b) = a 2V ( X )    ∫ {( ax + b) ? E (aX + b)}2 f ( x)dx ?    ∫ {a ( x ? E ( X )}2 f ( x)dx = a 2 ∫ ( x ? E ( X )) 2 f ( x)dx =    a 2V ( X ) = E ( X + Y ) = E ( X ) + E (Y ) X ⊥ Y ? V ( X + Y ) = V ( X ) + V (Y )
  • 19. 独立、同一分布に従う和の分布 X 1 , X 2 ,?, X n    iid E( X i ) = ?, V ( X i ) = σ 2 1 n ? X = ∑ X i   の期待値と分散 n i =1 1 n 1 n 1 n   E ( X ) = E ( ∑ X i ) = ∑ E ( X i ) = ∑ ? =? n i =1 n i =1 n i =1 1 n 1 2 n 1 2 n 2 σ2   V ( X ) = V ( ∑ X i ) = ( ) ∑ V ( X i ) = ( ) ∑ σ = n i =1 n i =1 n i =1 n
  • 20. 正規分布の再生成 X ~ N ( ?1 , σ ) 2 1 Y ~ N ( ? 2 , σ ), X ⊥ Y 2 2 => Z = aX + bY ~ N (a?1 + b? 2 , a σ + b σ ) 2 2 1 2 2 2
  • 21. X 1 , X 2 ,?, X n ~ N ( ? , σ ) 2 n 1 X = ∑ X i ~ N ( ? , σ / n) 2 n i =1 X ?? Z= ~ N (0,1) σ /n 2
  • 22. 中心極限定理 Central Limit Theorem X1, X2, ..., Xn は同じ分布 F(x) に従い独立    E(X)=μ      平均存在    Var(X)=σ2    分散存在     =ΣXi/n の分布は n->∞ のとき  X       N(μ,σ2/n) に収束 実用的には n≧25
  • 23. 一様分布の場合 X が区間 [0, 1] の一様分布   E(X)=1/2, Var(X)=1/12 n=2 n=3
  • 24. X i ~  U [0,1] Z = X 1 のpdf  1 0 < x <1    u1 ( x) = { 0 その他 Z = X 1 + X 2  のpdf { z 0 < z <1     u2 ( x) = 2? z 1< z < 2 0 その他 Z = X 1 + X 2 + X 3  のpdf z2 0 < z <1      u3 ( x) = { ? z 2 + 3z ? 3 / 2 1 < z < 2 ( z ? 3) 2 / 2 2< z<3 0 その他
  • 25. n= 1 n= 2 n= 3 n= 4 n= 5 0.4 0.4 Density Density Density Density Density 0.20 0.2 0.2 0.2 0.2 0.00 0.0 0.0 0.0 0.0 -2 -1 0 1 2 -2 -1 0 1 2 -3 -1 0 1 2 3 -3 -1 0 1 2 3 -3 -1 0 1 2 3 matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i),(apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5 2, mean) - 0.5) * sqrt(12 i) 2, mean) - 0.5) * sqrt(12 * i) 2, mean) - 0.5) * sqrt(12 i) 2, mean) - 0.5) * sqrt(12 i) n= 6 n= 7 n= 8 n= 9 n= 10 0.4 0.4 Density Density Density Density Density 0.20 0.00 0.20 0.2 0.2 0.2 0.00 0.0 0.0 0.0 -3 -1 0 1 2 3 -3 -1 0 1 2 3 -3 -1 0 1 2 3 -3 -1 0 1 2 3 -3 -1 1 2 3 matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i),(apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5 2, mean) - 0.5) * sqrt(12 i) 2, mean) - 0.5) * sqrt(12 * i) 2, mean) - 0.5) * sqrt(12 i) 2, mean) - 0.5) * sqrt(12 i) n= 11 n= 12 n= 13 n= 14 n= 15 0.4 0.4 0.4 0.4 Density Density Density Density Density 0.2 0.2 0.2 0.2 0.2 0.0 0.0 0.0 0.0 0.0 -3 -1 0 1 2 -4 -2 0 1 2 3 -2 0 2 4 -3 -1 1 2 3 -2 0 1 2 3 matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i),(apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5 2, mean) - 0.5) * sqrt(12 i) 2, mean) - 0.5) * sqrt(12 * i) 2, mean) - 0.5) * sqrt(12 i) 2, mean) - 0.5) * sqrt(12 i) n= 16 n= 17 n= 18 n= 19 n= 20 0.4 0.4 0.4 0.2 0.4 Density Density Density Density Density 0.2 0.2 0.2 0.2 0.0 0.0 0.0 0.0 0.0 -4 -2 0 1 2 3 -3 -1 0 1 2 3 -3 -1 1 2 3 -3 -1 1 2 3 -3 -1 0 1 2 3 matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i),(apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), (apply(matrix(runif(1000 * i), nrow = i), 2, mean) - 0.5 2, mean) - 0.5) * sqrt(12 i) 2, mean) - 0.5) * sqrt(12 * i) 2, mean) - 0.5) * sqrt(12 i) 2, mean) - 0.5) * sqrt(12 i)
  • 26. Density Density 0.0 0.1 0.2 0.3 0.4 0.0 0.5 0.1 0.2 0.3 0.4 0.5 -4 -4 -2 -2 0 0 N=1 N=3 scale(data) scale(data) 2 2 4 4 Density Density 0.0 0.1 0.2 0.3 0.4 0.0 0.5 0.1 0.2 0.3 0.4 0.5 -4 -4 -2 -2 0 0 N=4 N=2 scale(data) scale(data) 2 2 4 4