狠狠撸

國立雲林科技大學
工業工程與管理研究所
論文計劃
貝曲面之複迴歸模式建立與分析玆貝曲面之複迴歸模式建立與分析玆
研究生：簡俊能
口試委員：童超塵博士
口試委員：鄭博文博士
指導教授：袁明鑑博士
中華民國九十一年一月十四日

報告大綱
一、研究背景、動機與目的
二、研究步驟
三、文獻探討
四、研究方法
五、預期成果與研究進度
SimLabSimLab 22

? 迴歸模型是探討兩個或兩個以上變數之間的關係故
其可以廣泛的應用在工程，商學，社會科學等領域
? 各種迴歸方法皆有其模式假設與限制
? 線性迴歸模型分析必須事先假設迴歸函數但是通常
在無充足知識前提之下假設迴歸模式是不適當且困
難的
? 貝玆曲面的幾何性質能以控制點調整建立曲面參數式
? 將資料點當作控制點描述貝玆迴歸曲面並建立複迴
歸模型
SimLabSimLab 33
一、研究背景、動機與目的
研究背景及動機

? 研究目的
1. 建立貝玆曲面與複迴歸模型結合方法
2. 提供不需要事先假設模式的複迴歸模型
3. 驗證貝玆迴歸模型的統計分析能力
4. 證明貝玆迴歸的收斂性質
5. 比較各種迴歸方法的優缺點
SimLabSimLab 44
研究背景、動機與目的

SimLabSimLab 55
二、研究驟步二、研究驟步
研究動機與目的
結論
文獻探討
與傳統回歸做比較
建立模型
?貝玆曲面的幾何性質
?貝玆迴歸模式的假設
與建立
?變異數之估計與分析
?Goodness of fit test
?收斂性質的證明估計
預測區間與信賴區間
貝玆曲線參數性質
傳統迴歸模型
各種迴歸方法

三、文獻探討
SimLabSimLab 66
傳統線性迴歸 ?簡單迴歸
?複迴歸
幾何模型
?貝茲曲線
?貝茲曲面
各種迴歸模式
?Fuzzy 模糊迴歸理論
?GMDH(group method of data handling)
? 類神經網路
?無母數迴歸

?傳統線性迴歸
:
文獻探討
SimLabSimLab 77
2
R
?求樣本數檢數據是否有異常查值
?算出相關係數矩陣決定可刪除的變數
?判定自變項與應變項應有何種曲線關係
?對所有可能模式進行
forward 、 backward 、 stepwise 分
析視情況而定
? 以 Cp 、 MSE 、 PRESS 或為指標、選取適當
模式
?若模式不適合再尋求其他可能因素實驗之?蒐集新資料、檢驗模式及其預估結果
?利用 Hold-out sample 檢驗模式及其預估效果
2. 模式選
擇：
1. 資料收集
3. 模式驗證
4. 限制 ?預測變數無線性相關
?殘差項滿足平均為零之常態分布值
?觀察無自我相關現象值

?各種迴歸模式
文獻探討
SimLabSimLab 88
?Fuzzy 模糊迴歸理論
自變數與應變數呈線性關係，且可以依模式設定做不同形式之轉換
模糊參數只模糊迴歸中的迴歸係數為模糊數。所有的解釋變數的係
數均為 L-type 的模糊數，模糊迴歸最主要的概念是在某各水準下 ,
實際觀測的截集能被估計的截集所包含值值
?GMDH(group method of data handling)
.GMDH 方法由 Ivakhnenko 所提出，其基本構想為利用起始變
數為出發點，將所有解釋變數藉之二次多項
式
求出 Y 之迴歸方程式以建立較複雜新方程式，同時從其中選擇較
佳之方程式，使得新方程式更能適當描述此系統 .
),...,,( 21 mxxx

?各種迴歸模式
文獻探討
?類神經網路 (BACK-error Propagation Neural
Network)
1. 類神經網路於 1986 年由 Rumelhart 提出後才廣為人知 ,BPN
屬於類神經網路中的監督式學習網路，是第 i 個輸入層支入
變數經過隱藏層與輸出層算出網路的輸出變數 Y ，從學習範例
的目標輸出變數值 T 與網路輸出變數值 Y 比較球出誤差，
BPN 的主要特色為加入隱藏層與使用非線性活化函數 .
iX
SimLabSimLab 99
?無母數迴歸
無母數迴歸分析最主要是從一種具有干擾資料中，估計迴歸函數
以及找出原函數資料原有特性之平滑法，是一種近年來常用的資
料分析方法 smoother 是用來表示反應變數 Y 與一個或多個預測
變數之間關係的一項工具一般常見的 smoother 包括 Bin
smoothers 、 Runnning-mean smoother 、 running-line
smoother 、 kerner smoother

?幾何模型
文獻探討
? B é z i e r Curve 的定義
稱之為 Bernstein 多項式基底
),...,( 10 nxxxx ≡PitBtP
n
i
n
i ?= ∑=
)()(
0
]1,0[∈ t
),...,( 10 nyyyy ≡
inin
i tt
ini
n
tB ?
?
?
≡ )1(
)!(!
!
)(
定義
其中
SimLabSimLab 1010
假設
{}np p p p,.., , ,2 1 0
為 n+1 個控制點 (control points)
由此控制點集形成的貝茲曲
線定義如下：}0|),{( niyxP iii <<=
當參數 t 由 0 變化
至 1 時其軌跡即為
貝茲曲線

?幾何模型
文獻探討
SimLabSimLab 1111
?B é z i e r Curve 的特性
(1) 基底函數均為正實數
(2) 定義曲線之多項式次數較定義多邊形少一
(3) 摻合函數 (blending function) 的最大值
發生於 t=i/n ( i=0,1, …,n)
(4) 曲線必通過第一和最後一個控制點
(5) 該曲線必包含於控制點所形成的凸殼中 (convex
hull) 中
(1) 基底函數均為正實數
(2) 定義曲線之多項式次數較定義多邊形少一
(3) 摻合函數 (blending function) 的最大值
發生於 t=i/n ( i=0,1, …,n)
(4) 曲線必通過第一和最後一個控制點
(5) 該曲線必包含於控制點所形成的凸殼中 (convex
hull) 中
)(tBn
i

1 2 3 4 5 6 7 8 9
0
1
2
3
4
5
6
7
1 2 3 4 5 6 7 8 9
0
1
2
3
4
5
6
7
1 2 3 4 5 6 7 8 9
0
1
2
3
4
5
6
7
1 2 3 4 5 6 7 8 9
0
1
2
3
4
5
6
7
1 2 3 4 5 6 7 8 9
0
1
2
3
4
5
6
7
?B é z i e r Curve 性質
?幾何模型
文獻探討
SimLabSimLab 1212
當控制點上
移時曲線形
狀被向上吸
引
當控制點下
移時曲線形
狀被向下吸
引
當控制點
右移時曲
線形狀被
向右吸引
貝茲曲線
外型由控
制點所決
定

?幾何模型
文獻探討
20 30 40 50 60 70 80 90 100
-1
-0.5
0
0.5
1
1.5
2
·í±±¨??I???°n+1=100-?
0 10 20 30 40 50 60 70 80 90 100
-3
-2
-1
0
1
2
3
·í±±¨??I???°n+1=100-?
0 10 20 30 40 50 60 70 80 90 100
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
2.5
·í±±¨??I???°n+1=100-?
0 10 20 30 40 50 60 70 80 90 100
-4
-3
-2
-1
0
1
2
3
4
·í±±¨??I???°n+1=100-?
SimLabSimLab 1313
控制點數為 100
控制點個數為 5 控制點個數為 10
控制點數為 1000
被茲曲線近近收斂於 y=0

0 10 20 30 40 50 60 70 80 90 100
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
·í±±¨?? I?? ?°n+1=100-?
0 10 20 30 40 50 60 70 80 90 100
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
·í±±¨?? I? ? ?°n+1=100-?
?幾何模型
文獻探討
SimLabSimLab 1414
貝茲曲線對於曲線的收斂性更加優越

四、研究方法
?B é z i e r surface 特性
?B é z i e r 迴歸之收斂性質
?B é z i e r 迴歸基本假設
?B é z i e r 迴歸之統計分析
?B é z i e r 迴歸實驗
SimLabSimLab 1515

?B é z i e r Surface 特性
方法論
?定義
假設
{ }njmizyxQ ijijijij <<<<= 0,0|),,(3
RQij ∈
為 (m+1)*(n+1) 個控制點集， B é z i e r 曲面形完全由這些控
制點所決定茲將 B é z i e r 曲面定義如下 :
Let
U(u,v)
2
R∈ 作一線性映射至空間形成一參數曲面
3
R
32
: RRU →?? ]1,0[, ∈vu
ij
n
j
n
j
m
i
m
i QvBuBvuS ∑∑ ==
=
00
)()(),(
imim
i uu
imi
m
uB ?
?
?
≡ )1(
)!(!
!
)(
jnjn
j vv
jnj
n
vB ?
?
?
≡ )1(
)!(!
!
)(
]1,0[∈u ]1,0[∈v
稱之為 Bernstein 多項式基底
SimLabSimLab 1616

),( ***
vuS? in S can representation 如下 :
ij
m
i
n
j
n
j
m
i QvBuBvuS ∑∑= =
=
0 0

)()(),(
( ) ( ) )(**
0
)(*
0
*
)1()1(
)()(
jmn
j
m
i
jm
n
j
m
i vvuu
ji
?
=
?
=
??= ∑∑
方法論
S(U,V) 其為一 regular surface
by
χ.a
χ.b
1
. ?
χc
Is differentiable.
Is homomorphism.
Is continous.
SimLabSimLab 1717

方法論
SimLabSimLab 1818
貝茲曲面的收斂過程 z=f(x,y)=0 當控制點為 10*10=100 個

方法論
SimLabSimLab 1919

方法論
SimLabSimLab 2020

方法論
SimLabSimLab 2121

方法論
?一階導數性質
B é z i e r Surface 的一階導數
)()(
),( '
vBuB
u
vuB n
j
m
i=
?
?
( ){ } )()1()()1( 11
vBuuimuiu n
j
imiimim
i
????
????=
)()(),( vBuBvuB m
j
m
i=令
∑∑
∑∑
=
=
m
i
ij
n
j
n
j
m
iu
m
i
ij
n
j
n
j
m
iu
QvBuBvuS
QvBuBvuS
)()(),(
)()(),(
'
'
)()(
)1(
)(
vBuB
uu
mui n
j
m
i
?
?
=
)()(
),( '
vBuB
v
vuB n
j
m
i=
?
?
( ){ } )()1()()1( 11
uBvvjnvjv m
i
jnjjnjn
j
????
????=
)()(
)1(
)(
vBuB
vv
nvj n
j
m
i
?
?
=
SimLabSimLab 2222

方法論
?二階導數性質
∑∑
∑∑
=
=
m
i
ij
n
j
n
j
m
iu
m
i
ij
n
j
n
j
m
iuu
QvBuBvuS
QvBuBvuS
)()(),(
)()(),(
''
''
)()(),( vBuBvuB m
j
m
i=令
)()(
),(),( ''
2
2
vBuB
u
vuB
u
vuB n
j
m
i=?
?
?
?
?
?
?
?
?
?
=
?
?
)(*)(
)1(
)21()(
22
22
vBuB
uu
uimumui n
j
m
i
?
?
?
?
?
?
?
????
=
)()(
),(),( ''
2
2
vBuB
v
vuB
v
vuB n
j
m
i=?
?
?
?
?
?
?
?
?
?
=
?
?
)(*)(
)1(
)21()(
22
22
vBuB
vv
vjnvnvj n
j
m
i
?
?
?
?
?
?
?
????
=
SimLabSimLab 2323

?B é z i e r Surface 迴歸基本假設
方法論
?B é z i e r Surface 之複迴歸模式假設
假設反應變數與預測變數關係式如下：
1. 對於不同之 ),|( ijij yxzf
所對應的 (m+1)(n+1) 個參數再由所對應的 ijZ
),( ijij yx 所對應的 Y 值都屬於同一機率分
配
2.
變數定義
:
),0(~ 2
σε Nij 且互相獨立
ijijijij yxfZ ε+= ),(
觀察值
預測變數
誤差項
此實驗之真實函數
ji vu ,
ijij YX ,
ijε
f
以觀察值為控制點的 B é z i e r Surface 所估計的 f(x,y) 如下
∑∑= =
∧
=
m
k
n
s
j
n
si
m
kijij vBuByxf
0 0
)()(),(
其中
∑∑
∑∑
= =
= =
=
=
m
k
ij
n
s
j
n
si
m
kij
m
k
ij
n
s
j
n
si
m
kij
YvBuBY
XvBuBX
0 0
0 0
)()(
)()(
滿足
By ijij YX ,
透過估計式求出
ijZ
SimLabSimLab 2424
ijZ
),( ji vu
ijZ
∧

方法論
?B é z i e r Surface 之複迴歸模式矩陣表示
法 ],...,,[ 210 m
T
zzzzZ =
],...,,[ 210 mjjjj
T
j zzzzZ =
nj ,...2,1,0=
jij ZBsfZ ?==
∧∧
jnjimin
j
m
is vv
jnj
n
uu
imi
m
vBuBB ??
?
?
?
?
≡= )1(
)!(!
!
)1(
)!(!
!
)()(此處
多項式所加權估計經由是由反應變數 bernsteinZij
∧
f
所對應之值是由預測變數 ijYvu ,X),( ij
],...,,[ 210
∧∧∧∧∧
= mjjjj zzzzf 為估計值
為觀察值中的反應變數
SimLabSimLab 2525

方法論
?B é z i e r Surface 之複迴歸模式矩陣表示
法
=
∧
f
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
n
j
n
n
jm
m
n
j
n
jm
m
n
j
n
jm
m
n
j
n
j
m
n
j
n
j
m
n
j
n
j
m
n
j
n
j
m
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
0
0
0
10
0
00
0
110
0
010
0
100
0
000
)()(
)()(
)()(
)()(
)()(
)()(
)()(
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
n
j
n
n
jm
m
n
j
n
jm
m
n
j
n
jm
m
n
j
n
j
m
n
j
n
j
m
n
j
n
j
m
n
j
n
j
m
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
0
0
0
10
0
00
0
110
0
010
0
100
0
000
)()(
)()(
)()(
)()(
)()(
)()(
)()(
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
n
j
n
n
jm
m
n
j
n
jm
m
n
j
n
jm
m
n
j
n
j
m
n
j
n
j
m
n
j
n
j
m
n
j
n
j
m
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
vBuB
0
0
0
10
0
00
0
110
0
010
0
100
0
000
)()(
)()(
)()(
)()(
)()(
)()(
)()(
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
mj
j
j
j
Z
Z
Z
Z
2
1
0
SimLabSimLab 2626

?B é z i e r Surface 迴歸之收斂性質
SimLabSimLab 2727
)()()(lim *
0
*
xfxftB i
n
i
n
in =∑?
∞→
假設觀察產生是由一連續函數值 f 且隨機誤差為
0 ，則當樣本數 n 足大時且等距分布在夠 x 範圍時
，以觀察為控制點之值 bezier curves 將收斂於觀察
的真實函數亦即值 :
j
n
j
xtBxt ∑=
=
0
***
)(滿足此處
iiiji
n
i
j
n
in exfYxfYYtB +===∑?
∞→ )(),()(lim
^
0

?B é z i e r Surface 迴歸之統計分析
貝茲曲面所建立的複回歸模式的統計分析是為了驗證其統計性質
其中包含了反應變數的預測，變異數分析，殘差分析， MSE 適合
度檢定等將建立一完整統計分析架構 .
?反應變數的估計
?變異數的估計
根據貝茲多項式的定義，反應變數如下式估計
：
∑∑= =
∧
=
m
k
n
s
j
n
si
m
kijij vBuByxf
0 0
)()(),(
其中
ji vu , 滿足
∑∑
∑∑
= =
= =
=
=
m
k
ij
n
s
j
n
si
m
kij
m
k
ij
n
s
j
n
si
m
kij
YvBuBY
XvBuBX
0 0
0 0
)()(
)()(
)1)(1(
)(
0
2
0
??
?
=
∑∑= =
∧
nm
ZZ
X
m
k
ij
n
s
ij
ij
( ) )1)(1( ???= nmZZB
T
jjs
SimLabSimLab 2828
ijZ
∧

?B é z i e r Surface 迴歸之統計分析
?MSE 的自由
度
?適合度檢定
我們必須對於貝茲回歸曲面所建立之赴回歸模式作殘差分析與
統計檢定：
觀察值知數目為 (m+1)(n+1) 個，其自由
度為 (m+1-2)(n+1-2)=(m-1)(n-1)
1 變異數是否一
致2. 資料是否獨立
3. 隨機誤差是否具常態性
4. 是否有極端值
)1)(1(
)1)(1()(
0*
++
++?
=
∑∑= =
∧
nmMSE
nmZZ
t
m
oi
ij
n
j
ij?T 檢定
?F 檢定
)1)(1(
)1)(1()(
2
0*
++
?
?
?
?
?
?
?
?
++?
=
∑∑= =
∧
nmMSE
nmZZ
F
m
oi
ij
n
j
ij
SimLabSimLab 2929

?B é z i e r Surface 實驗設計
SimLabSimLab 3030
模擬重複實驗 1000 次
以各種函數型態加上適當的
常態誤差項產生觀察值
分別個常態誤差參數實驗
分別以不同觀察個數實驗值
以貝茲迴歸模型估計以傳統或其他回歸模型估計
統計指標分析
問題探討與結論

五、甘特圖
SimLabSimLab 3131
工作任務 9 月
10
月
11 月 12 月 1 月 2 月 3 月 4 月 5 月
? 文獻彙整
?建立曲面迴歸模型
?曲面程式撰寫
建立 n 維複迴歸模型
建立統計分析程序
模擬實驗與分析
論文撰寫

狠狠撸

A ROBUST MODELING FOR MULTIPLE NONLINEAR REGRESSION USING BEZIER SURFACE

More Related Content

A ROBUST MODELING FOR MULTIPLE NONLINEAR REGRESSION USING BEZIER SURFACE

Editor's Notes