狠狠撸

2013-3-19
實驗設計
“多重比較” 的使用原則
13年3月19?日星期?二

Previously in Experimental Design
? 前一堂課以CR-p為例，解釋變異數分析的方法和原則
? fixed-effects model (model I):
? 根據組別的平均數進行假設
? 根據組別的效果進行假設

multiple comparison 多重比較
? fixed-effects model (model I):
? 根據組別的平均數進行假設
? 根據組別的效果進行假設
? 當F分數大於臨界值，即代表treatment
之間的平均數有顯著差異。
? 研究者需要做進一步的分析，探討實
驗效果來自哪幾組平均數？
? e.g.,
三個treatments的CR-3設計，效果
可能來自：
? 三組平均值彼此不一樣
? 某兩組平均值和另一個平均值不一
樣

multiple comparison 多重比較
? 多重比較的統計方法大約有30多種。要從中選擇適當的方法得先瞭解幾
個原則：
? 正交/ 非正交比較 (orthogonal/ nonorthogonal contrasts)
? 事前/事後比較 (planned comparisons/ post hoc tests)
? 第一類型錯誤的風險
? 實際操作多重比較的時候，還要考慮 “變異數同質性” 原則，以及各個
treatment之間的樣本數是否一樣多。

contrast, comparison 比較
? 所謂的 “比較” 是指：
? 將一組平均值搭配 “加權值” (coef?cients)
之後，以線性的方式組合在一起。為了達
到 “比較” 的目的，加權值有兩個特性：
? 1) 至少一個加權值不為零
? 2) 加權值的總和為零

配對/ 非配對比較
? treatment 數量在 3以上的時候，如果比較的加權值其中兩個不為零，
其他的為零的時候就稱為配對比較。假設組別數量為p，配對比較的數
量有 p(p–1)/2。
? 有時候研究上的興趣會設計非配對比較，配對比較可以依照需求而有無
限多種可能。

正交比較 orthogonal contrasts
? 將兩組比較的加權值的每個對應項目相成，然後將乘積加總之後，取得的總和為零的時候代表
這兩組為 “正交比較”，兩者所代表的訊息互相獨立。
? 正交比較可以組合出其他可能的比較
? 假設組別數量為p，正交比較的數量有 (p–1)組。

事前/事後比較
planned comparisons/ post hoc
? 多重比較在進行F考驗之前進行，稱為事前比較（planned / priori
comparisons）
? 獲得顯著的F值之後所進行的多重比較，稱為事後比較（posteriori
comparisons / post hoc tests）。

多重比較之下的第一類型錯誤
? 假設每次統計檢定之下，發生第一類型錯誤的機率為 0.05
? 針對三個平均數執行三次配對比較，這時候第一類型錯誤的機率是多少？
? ! = 0.05, 代表 “不發生第一類型錯誤” 的機率為 (1 – !)
? 比較的次數 (C) 有三個，累積的 “不發生第一類型錯誤” 的機率為
? (1 – !)? (1 – !)? (1 – !) = (1 – !)3
? 這時候，執行三次配對比較承擔的第一類型錯誤為
? 1 – (1 – !)3 = 0.14
? 假設每次統計檢定之下，發生第一類型錯誤的機率為 !。執行 C 次比較所承擔的
第一類型錯誤機率為 1 – (1 – !)c

三種第一類型錯誤
?
比較錯誤率（per-contrast error rate）
? 將第一類型錯誤率設定於每一次的統計
考驗，均有相同的犯第一類型錯誤的機
率
? !PC
?
族系誤差率（familywise error rate）
? 將每一個被檢驗的效果的統計考驗的型I
錯誤率維持一定，導出各次決策累積的
第一類型錯誤率
? !FW
? 實驗誤差率（per-family/ experiment-
wise error rate）
? 統計的決策，是以整個實驗的第一類型
錯誤率維持一定的情況下，導出各次決
策所犯的第一類型錯誤率
? !PF

? !PC = 0.05，5組比較
? [!PC = 0.05] ≤ [ !FW = 1 – (1 – .05)5 = .23 ] ≤ [ !PF = 5?.05 = .25]
? 如果將 !PC 設定為 0.01，同樣進行5組比較
? [!PC = 0.01] ≤ [ !FW = 1 – (1 – .01)5 = .049 ] ≤ [ !PF = 5?.01 = .05]

?
實驗與族系誤差率
?
為了維持整體的α水準為.05，必須降低各次考驗的α水準
?
一般會採用族系誤差率來設定多重比較的顯著性臨界值
?
如果採用正交比較就無需調整α水準
?
複因子設計的時候，假設有兩個因子 A, B, 變異數分析包含兩個主效果、一個交互作
用。由於三組效果的比較屬於正交比較，因此ANOVA的統計考驗無需調整α水準。

多重比較的統計量
(Student’s t distribution)
(Studentized range distribution)
(F distribution)

多重比較的類型
依照檢定的程序來分類：
? 單一步驟 single-step procedure
? 使用一個臨界值估計所有的對比
? 多重步驟 multiple-step procedure
? two step: Fisher’s LSD methods
? step-up
? setup-down
? 多重步驟的 power 比較大，可以減少第
二類型錯誤的機率
? 單一步驟的統計量可以估計信賴區間，
多重步驟則無法提供線賴區間。
依照?比較的類型來分類：
? p – 1 a priori orthogonal contrasts
p – 1 個事前正交比較
? p – 1 a priori nonorthogonal contrasts
with a control-group mean
p – 1 個事前非正交比較(有控制組)
? C a priori nonorthogonal contrasts
C 個事前非正交比較
? All pairwise contrasts among p means
p 個平均值的配對比較
? All contrasts including nonpairwise
contrasts that from an inspection of the
data appear interesting
....基本上就是包羅萬象的狀況

Recommended ProceduresWhen
Assumptions AreTenable
Orthogonal
?
Contrasts
Nonorthogonal
?Contrasts
A
?Priori
?
Contrasts
Student’s
?t
?test (Tes7ng
?
?p-?‐1
?contrasts
?with
?a
?control-?‐group
?mean)
?
Dunne@’s
?test
A
?Priori
?
Contrasts
(Tes7ng
?
?C
?contrasts)
Dunn-?‐Sidak
?test
Holm’s
?test
A
?Posteriori
?
Contrasts
(Tes7ng
?all
?pairwise
?contrasts)
Tukey’s
?test
Fisher-?‐Hayter
?test
REGW
?F,
?FQ,
?Q
?tests
A
?Posteriori
?
Contrasts
(Tes7ng
?all
?contrasts)
Sche?e’s
?test

Recommended ProceduresWhen
Assumptions Are NOTTenable
Orthogonal
?
Contrasts
Nonorthogonal
?Contrasts
A
?Priori
?
Contrasts
Student’s
?t
?test
?with
?
Welch
?df
(Tes7ng
?
?p-?‐1
?contrasts
?with
?a
?control-?‐group
?mean)
?
Dunne@’s
?test
?with
?modi?ca7on
A
?Priori
?
Contrasts
(Tes7ng
?
?C
?contrasts)
Dunn-?‐Sidak
?test
?with
?Welch
?df
Holm’s
?test
?with
?Welch
?df
A
?Posteriori
?
Contrasts
(Tes7ng
?all
?pairwise
?contrasts)
Tukey
?-?‐
?Kramer
?test
Fisher-?‐Hayter
?test
Dunne@’s
?T3
?or
?C
?test
Games-?‐Howell
?test
A
?Posteriori
?
Contrasts
(Tes7ng
?all
?contrasts)
Brown-?‐Forsythe
?test

Fisher’s LSD procedure
? 一個CP5 的實驗設計，每一組treatment 有6個觀察值
1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14

1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
(reject equal column MEANS)
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror

1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror
LSD = t1 α/2, df x √MSerror x √ 1 + 1
njni

1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror
njni
with α=.05
LDS = 2.060 (√21.2 x √ 1 + 1 )
= 5.48
6 6

1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror
njni
with α=.05
LDS = 2.060 (√21.2 x √ 1 + 1 )
= 5.48
6 6
將各組的平均值排序，然後觀察兩配對之間的大
小有無大於LSD臨界值

1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror
njni
with α=.05
LDS = 2.060 (√21.2 x √ 1 + 1 )
= 5.48
6 6
Group 3 1 2 4 5
5 6 12 14 17
Conclusion : 3, 1 2 4 5

1
12
3
5
-1
12
5
6
2
7
17
13
11
7
17
12
3
8
1
7
4
3
7
5
5
24
13
14
18
14
19
17
4
21
10
15
12
20
6
14
α = .05, F(4,25) = 2.76
Source SS df MS F
treatment
Error
640.8
530
4
25
160.2
21.2
7.56
MSerror
njni
with α=.05
LDS = 2.060 (√21.2 x √ 1 + 1 )
= 5.48
6 6
Group 3 1 2 4 5
5 6 12 14 17
Conclusion : 3, 1 2 4 5
Hayter (1986): 組別數量大於三的時候不要使用LSD

p – 1 a priori orthogonal contrasts

?
?
為了維持整體的α水準為.05，必須降
低各次考驗的α水準
?
一般會採用族系誤差率來設定多重比較
的顯著性臨界值
?

? Student’s Multiple t Test
? e.g.: CP5 , n = 9 (N = 45), MSE = 29.0322
1. 估計MSE
2. 將平均值、加權值帶入下列公式，計算
每一組比較的t 分數
3. 依照!, MSE的自由度查表取得臨界
值。t分數的絕對值大於臨界值表示
該組比較俱有顯著效果
t!/2, p(n-1)

? e.g.: CP5 , n = 9 (N = 45), MSE = 29.0322
t .05/2, 40 = 2.021

? 各組樣本的變異數不同質的時候，需要校正臨界值，一般建議Welch’s 方法，以 v’替換自由
度：

p – 1 a priori nonorthogonal
contrasts with a control-group
?
?
為了維持整體的α水準為.05，必須降
低各次考驗的α水準
?
一般會採用族系誤差率來設定多重比較
的顯著性臨界值
?

p – 1 a priori nonorthogonal
contrasts with a control-group
? Dunnett’s procedure
? e.g.: CP5 , n = 9 (N = 45), MSE = 29.0322
依照!, 組別數量 (p), MSE的自由度查表取得tDN!/2, p, p(n-1)，然後帶入公式估計臨
界值。差值大於臨界值即表示該組比較有顯著效果。

C a priori nonorthogonal contrasts
? Dunn’s test
? 又稱作 Bonferroni procedure
?
較嚴謹的控制第一類型錯誤，!值設定在實驗誤差率 (!PF)
? Dunn-?‐Sidak
?test
?
程序類似 Dunn’s test， !值設定在族系誤差率 (!FW)
? power 比較大

? CP5 , n = 9 (N = 45), MSE = 29.0322

? CP5 , n = 9 (N = 45), MSE = 29.0322 ? Dunn’s test 的臨界值：
tD!/2, p, p(n-1) = tD .05/2, 4, 40 = 2.62
? Dunn-?‐Sidak
?test
?的臨界值：
tDS!/2, p, p(n-1) = tDS .05/2, 4, 40 = 2.608

? Holm’s test (step-down)
1. 使用和 Dunn一樣的方式計算 tH
2. 將tH的絕對值由大到小排序
3. tH最大的直採用tDS!/2, p, p(n-1) 為臨界值
4.接下來的臨界值的第二項參數逐次遞減

All pairwise contrasts among p means
? Tukey’s HSD Test
? CP5 , n = 9 (N = 45), MSE = 29.0322
? 使用 qT的公式估計各配對的差值、臨界值

狠狠撸

Kirk' Experimental Design, Chapter 4

Recommended

More Related Content

More from Kevin Chun-Hsien Hsu (17)

Recently uploaded (7)

Kirk' Experimental Design, Chapter 4