![[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...](https://cdn.slidesharecdn.com/ss_thumbnails/sparse-constrained-lda-151024072334-lva1-app6891-thumbnail.jpg?width=560&fit=bounds)
![A Neural Attention Model for Sentence Summarization [Rush+2015]](https://cdn.slidesharecdn.com/ss_thumbnails/emnlp2015yomi-151024073845-lva1-app6892-thumbnail.jpg?width=560&fit=bounds)
More Related Content
Viewers also liked (16)
More from Iida Keisuke (8)
第4回関东ゼロからはじめる搁言语勉强会(迟検定を勉强してみよう)
- 2. Agenda ? 自己紹介 ? ｔ検定とは ? 帰無仮説 ? ｔ分布 ? 正規性 ? 等分散性 ? ｔ検定
- 3. 自己紹介 ? 名前 飯田 啓介 (twitter: menphis_feel) (facebookの方に主に出現) ? 会社 株式会社ブリリアントサービス ? 業務 データ解析、マイニング
- 4. Agenda ? 自己紹介 ? ｔ検定とは ? 帰無仮説 ? ｔ分布 ? 正規性 ? 等分散性 ? ｔ検定
- 6. Agenda ? 自己紹介 ? ｔ検定とは ? 帰無仮説 ? ｔ分布 ? 正規性 ? 等分散性 ? ｔ検定
- 7. 帰無仮説とは "ある仮説"が正しいかどうかの判断のために立てられ る 仮説の概念。 これに対立している証明したい仮説を対立仮説とい う。 対立仮説を立証するために利用し否定する仮説のこと をいう。
- 11. Agenda ? 自己紹介 ? ｔ検定とは ? 帰無仮説 ? ｔ分布 ? 正規性 ? 等分散性 ? ｔ検定
- 12. ｔ分布とは t分布(または、スチューデントのt分布)は、 連続確 率分布であり、サンプル数が少ない場合に正規分布 をとる母集団の平均を推定する問題に使用される。 2つのサンプル平均間の差の統計的有意や2つの母 集団平均間の差の信頼区間を求めるのによく使われ るt検定の基礎となる。 (by wikipeida) 難読だ。。
- 16. ｔ分布を使った検定 t検定を行う上での前提条件 1. 正規性 標本の母集団が正規分布に従う。 2. 等分散性 標本の母分散が等しい。 t検定を行う上での前提条件 1. 正規性 標本の母集団が正規分布に従う。 2. 等分散性 標本の母分散が等しい。
- 17. Agenda ? 自己紹介 ? ｔ検定とは ? 帰無仮説 ? ｔ分布 ? 正規性 ? 等分散性 ? ｔ検定
- 19. 有意水準（p値） ● 帰無仮説を「採択」するか「棄却」するかの判定水 準 通常 α としては 0.05，0.01，0.001のいずれかを適 用する 例えば有意水準を0.05とした場合、帰無仮説を棄却する判定を したとしても20回に１回判定ミスが発生する可能性を示唆して いる。 0.05 < pの場合、「棄却するに値しない」 という判定結果となる。 0.05 < pの場合、「棄却するに値しない」 という判定結果となる。
- 20. ２つのサンプルを用意した ## サンプルX # 正規分布を描く乱数を発生させる t_sample.x<-rnorm(1000,mean=50,sd=10) hist(t_sample.x, freq=F) # ヒストグラム描画 # 正規分布描画 x <- seq(0, 1000, 0.05) curve(dnorm(x, mean=50, sd=sd(t_sample.x)), add=T) ## サンプルY # 正規分布を描く乱数を発生させる t_sample.y<-rnorm(1000,mean=30,sd=10) hist(t_sample.y, freq=F) # ヒストグラム描画 # 正規分布描画 x <- seq(0, 1000, 0.05) curve(dnorm(x, mean=30, sd=sd(t_sample.y)), add=T)
- 21. 正規性の確認をKS検定で行う > ks.test(t_sample.x, "pnorm", mean=mean(t_sample.x), sd=sd(t_sample.x)) One-sample Kolmogorov-Smirnov test data: t_sample.x D = 0.0487, p-value = 0.9716 alternative hypothesis: two-sided 帰無仮説：「正規分布に従う」 有意水準(p値) 0.05以上なので 「帰無仮説を棄却するに値しな い」 帰無仮説を採択する。 正規分布と判定する
- 22. Agenda ? 自己紹介 ? ｔ検定とは ? 帰無仮説 ? ｔ分布 ? 正規性 ? 等分散性 ? ｔ検定
- 24. 等分散性検定（F検定） > var.test(t_sample.x,t_sample.y) F test to compare two variances data: t_sample.x and t_sample.y F = 0.9877, num df = 999, denom df = 999, p-value = 0.8448 alternative hypothesis: true ratio of variances is not equal to 1 95 percent confidence interval: 0.8724221 1.1181794 sample estimates: ratio of variances 0.9876864帰無仮説：「2群間の分散に差がな い」 有意水準(p値) 0.05以上なので 「帰無仮説を棄却するに値しな い」 帰無仮説を採択する。 等分散と判定する
- 26. Agenda ? 自己紹介 ? ｔ検定とは ? 帰無仮説 ? ｔ分布 ? 正規性 ? 等分散性 ? ｔ検定
- 28. ｔ検定 > t.test(t_sample.x,t_sample.y,var.equal=T) Two Sample t-test data: t_sample.x and t_sample.y t = 42.5748, df = 1998, p-value < 2.2e-16 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: 18.00265 19.74127 sample estimates: mean of x mean of y 49.50618 30.63422帰無仮説：「2群間の平均値に差がな い」 有意水準(p値) 0.05以下なので 「帰無仮説を棄却する」 対立仮説を採択する。 平均値に差があると 判定する
- 29. ｔ検定のまとめ ● ｔ検定とは２群のデータに差があるのかどうかを判 定する。 ● ｔ検定を行うには「正規性」と「等分散性」の仮定 が必要 ● 仮説検定には「帰無仮説」と「対立仮説」をたてて 帰無仮説を棄却することで立証する。 ● 仮説の立証には有意水準を使う。