狠狠撸

BAYESC? A?LAR
?
? ?nan? a?lar? (belief networks) olarak da bilinen Bayesci
A?lar, olas?l?ksal grafik modelleri ailesinin bir üyesidir.
? Olas?l?ksal grafik modelleri, ilgilenilen problemin kesin
olmayan tan?m kümesi hakk?ndaki bilgiyi temsil etmek
i?in kullan?l?r.
? Bu grafiklerde dü?ümler (nodes) raslant? de?i?kenlerini,
dü?ümler aras?ndaki ba?lar (edges) ise raslant?
de?i?kenleri aras?ndaki olas?l?ksal ba??ml?l?k durumlar?n?
g?sterir.

BAYESC? A?LAR
?
? Bayesci a?lar, “Y?nlü D?nü?süz Grafik (Directed
Acyclic Graph [DAG])” olarak bilinen bir grafiksel
model yap?s?na sahiptir.

? Bu a?lar, bir raslant? de?i?kenleri kümesinin ?ok
de?i?kenli olas?l?k da??l?m?n?n etkili bir g?steriminin ve
bu
g?sterim
üzerinden
?e?itli
hesaplamalar?n
yap?lmas?n? sa?lar.
? Bayesci a?lar, uzman sistemlerinde, kesin olmayan
uzman g?rü?lerinin sisteme girmesini sa?layan ?nemli
bir y?ntemdir.

TEMEL KAVRAMLARKO?ULLU OLASILIK, BAYES KURALI

?

? Bayesci hesaplamalarda kullan?lan temel kavram ?ko?ullu olas?l?k? t?r.
?P(a|b)=x : b olay? bilindi?inde, a olay?n?n ger?ekle?me olas?l??? x’tir?

P ab

P a,b
P b

? a ve b olaylar? ba?ka bir c olay?na ko?ullu olabilir.

P a b,c

P a,b|c
P b|c

? Bu durumda ilk e?itlik i?in Bayes kural?:

? ?kinci e?itlik i?in Bayes kural?: P b a,c

P ba

P ab P b
P a

P a|b,c P b c
P a|c

TEMEL KAVRAMLAR-DAG

?
kümesi

? DAG yap?s?, dü?ümler
ve y?nlendirilmi? ba?lar
kümesi olmak üzere iki kümeden olu?ur.
? Dü?ümler, raslant? de?i?kenlerini temsil eder ve daire
bi?iminde g?sterilir.
? Ba?lar ise, de?i?kenler aras?ndaki do?rudan ba??ml?l?klar?
belirtir ve dü?ümler aras?nda ?izilen oklarla g?sterilir.
? Xi ve Xj , a?daki iki dü?üm olmak üzere, Xi dü?ümünden Xj
dü?ümüne do?ru ?izilen bir ba?, kar??l?k geldikleri de?i?kenler
aras?ndaki istatistiksel ba??ml?l???n bir g?stergesidir.

TEMEL KAVRAMLAR-DAG

?

? Xi dü?ümünün, Xj dü?ümünün ebeveyni (parent);
Xi
dü?ümünün ise Xi dü?ümünün ?ocu?u (child) oldu?u
s?ylenebilir.
? Ayr?ca, a?daki bir dü?ümden ??kan yol üzerinde yer alan
dü?ümler kümesi “soy dü?ümler (descendants)”, bir dü?üme
gelen yol üzerinde yer alan dü?ümler kümesi ise “ata
dü?ümler (ancestors)” olarak tan?mlanabilir.
? D?nü?süz grafik yap?s?, bir dü?ümün, kendisinin soy ya da ata
dü?ümü olmas?na izin vermez. Bu durum, dü?ümlerin ?ok
de?i?kenli olas?l?k da??l?mlar?n?n ?arpanlara ayr?lmas?nda
?nemlidir.

TEMEL KAVRAMLARKO?ULLU BA?IMSIZLIK

?

? Ko?ullu ba??ms?zl?k, bir de?i?kenin ebeveynlerinin
durumlar? bilindi?inde, bu de?i?kenin, soy de?i?kenleri
d???ndaki de?i?kenlerden ba??ms?z oldu?u anlam?na
gelmektedir.
? Bu ?zellik, de?i?kenlerin ?ok de?i?kenli olas?l?k da??l?m?n?n
hesaplanmas?nda kullan?lan parametre say?s?n?n azalmas?n?
sa?lar.

TEMEL KAVRAMLARKO?ULLU BA?IMSIZLIK

?

X, Y, Z raslant? de?i?kenlerinin tan?m kümeleri s?ras?yla U X ,U Y ,U Z
Bu raslant? de?i?kenlerinin ?ok de?i?kenli olas?l?k fonksiyonu P X, Y,Z
Bu de?i?kenlerin ald??? tüm x

UX , y

PX ,Y ,Z x, y,z

UY , z

UZ de?erleri i?in

PX Z x z PY Z y z PZ z

yaz?labiliyorsa Z bilindi?inde, X ve Y’nin ko?ullu ba??ms?z oldu?u s?ylenir
ve X

X
x

Y Z bi?iminde yaz?l?r.

Y Z ise PY Z y z
UX , y

UY , z

0 ve PZ z

0 e?itsizliklerini sa?layan tüm

UZ de?erleri i?in PX Y,Z x y, z

PX Z x z yaz?labilir.

TEMEL KAVRAMLARKO?ULLU OLASILIK TABLOSU

?

? Bayesci a?lar?n nitel k?sm? olarak tan?mlanan DAG yap?s?na ek
olarak, bu a?lar?n nicel k?sm? olarak tan?mlanan parametrelerin
belirlenmesi gerekmektedir.
? Bu parametreler, a?daki her bir dü?üme ait ko?ullu olas?l?k
da??l?mlar?d?r.
? Her bir de?i?ken i?in bu ko?ullu olas?l?klar, yaln?zca kendi
ebeveynlerine ba?l? olarak tan?mlan?r.
? De?i?kenler kesikli oldu?unda, ko?ullu olas?l?k da??l?mlar? tablo
bi?iminde g?sterilir.
? Bu tablolarda, ebeveynlerinin ald??? de?erlere g?re her bir
de?i?kenin ald??? de?erler ve bu de?erleri alma olas?l?klar? yer
al?r. Bu tablolara “ko?ullu olas?l?k tablosu (conditional
probability tables [CPT]) ” ad? verilir

BAYESC? A?LARTANIM VE ?ZELL?KLER
Bir Bayesci a?, bir V

?

X1,?,Xn

raslant? de?i?kenleri kümesine ili?kin ?ok

de?i?kenli olas?l?k da??l?m?n? temsil eden bir DAG’d?r.

A?, G ve

olmak üzere iki bile?enden olu?ur ve BN

G,

bi?iminde

g?sterilir.
?lk bile?en G, dü?ümlerin X1,?, Xn raslant? de?i?kenlerini, dü?ümler aras?ndaki
ba?lar?n ise bu de?i?kenler aras?ndaki do?rudan ba??ml?l?klar? g?sterdi?i bir
grafik yap?s?d?r. G grafi?i ko?ullu ba??ms?zl?k varsay?mlar?n? i?erir.
Bayesci a?lar?n ikinci bile?eni

, a?daki parametrelerin kümesini g?sterir. Bu

parametreler, Bayesci a?daki her bir X i raslant? de?i?kenine ili?kin ko?ullu
olas?l?k da??l?mlar?d?r.


?

Bir

Xi

raslant? de?i?keni i?in ko?ullu olas?l?k da??l?m?,

ebeveynlerinin kümesi

i

olmak üzere,

xi

i

PBN Xi

i

X i ’nin G’deki

bi?iminde tan?mlan?r.

Bir raslant? de?i?keninin verilen Bayesci a?da bir ebeveyni yoksa bu raslant?
de?i?keni i?in ko?ullu olas?l?k da??l?m?, marjinal olas?l?k da??l?m?na kar??l?k
gelir.
Her bir de?i?kene ait marjinal ya da ko?ullu olas?l?k da??l?mlar? genel olarak
“yerel olas?l?k da??l?mlar? (local probability distributions)” olarak adland?r?l?r.


?

Bu parametrelerden ve Bayesci a? yap?s?ndan yararlanarak, V

X1,?,Xn

i?in tek bir ?ok de?i?kenli olas?l?k da??l?m? tan?mlan?r ve bu da??l?m a?a??daki
e?itlikten yararlan?larak elde edilir.
?ok de?i?kenli olas?l?k da??l?m?n?n bu e?itlikten elde edilmesi “zincir kural?
(chain rule)” olarak adland?r?l?r .
n

P X1,?, Xn

n

P Xi
i 1

i
i 1

Xi

i

BAYESC? A?LAR?RNEK

?

? Bir ki?inin belinin incinmesine neden olan olaylar incelenmek istensin.
? Bel incinmesi olay? “Bel (B)” de?i?keni ile g?sterilsin.
? Bel incinmesi bel a?r?s?na neden olabilir. Bel a?r?s?, “A?r? (A)” de?i?keni
ile g?sterilsin.
? Bel incinmesinin nedeni yanl?? yap?lan spor aktivitesi olabilir. Bu olay,
“Spor (Sp)” de?i?keni ile temsil edilsin.
? Di?er bir neden ise, ki?inin i? yerinde oturdu?u sandalyenin konforsuz
olmas? olabilir. Ki?inin sandalyesinin konforsuz olmas? durumu,
“Sandalye (Sa)” de?i?keni ile g?sterilsin. Bu neden s?z konusu
oldu?unda, bu ki?inin i? arkada?lar?n?n da benzer bir bel problemine
sahip olup olmad?klar? da ara?t?r?labilir. Bu durumda ilgili de?i?ken “??
Arkada?? (?a)” olarak al?nabilir.
? Bu problemdeki tüm de?i?kenler iki düzeyli ve bu düzeyler “Do?ru (D)”
ve “Yanl?? (Y)” bi?imindedir.

?

?

D Sa P ?a

Y

P Sp

D P Sp

P A

DB

P A

Sa ve Sp de?i?kenleri
marjinal olarak ba??ms?zd?r
ancak B de?i?keni
verildi?inde bu de?i?kenler
ko?ullu ba??ml? olur.

?

Sa de?i?keni verildi?inde,
?a ve B de?i?kenleri ko?ullu
ba??ms?z olur. B
verildi?inde ise A
de?i?keni, Sa ve Sp
de?i?kenlerinden ko?ullu
ba??ms?z olur.

Y

P B

Y Sa

Ko?ullu ba??ms?zl?k
varsay?m?ndan
yararlanarak,

?

P ?a

D P Sa

Bu ?rnekte B dü?ümünün
ebeveynleri Sa ve Sp’dir. A
dü?ümü, B’nin ?ocu?u;
?a’n?n ebeveyni ise Sa’d?r.

?

P Sa

Tüm dü?ümler i?in CPT,
ilgili dü?ümün yan?nda
verilmi?tir.

D Sa,Sp

P B

Y Sa,Sp

YB

?ok de?i?kenli olas?l?k da??l?m?:
P Sa,Sp,?a,B,A

P Sa P Sp P ?a Sp,Sa P B ?a,Sp,Sa P A B,?a,Sp,Sa

Ko?ullu ba??ms?zl?k ?zelli?inden yararlan?larak:
P Sa,Sp,?a,B,A

P Sa P Sp P ?a Sa P B Sp,Sa P A B

B?ylece, modeldeki parametre say?s?

25 1 31 ’den 10’a dü?er. Parametre

say?s?nda bu azal?? modeldeki ??karsamalar?n, hesaplamalar?n ve ??renmenin
ger?ekle?tirilmesinde büyük kolayl?klar sa?lar.

BAYESC? A?LARD-AYRILIK ?ZELL???

?

? Bir Bayesci a?a yeni bilgi girdi?inde
a?daki
de?i?kenlerin
ba??ms?zl?k
durumuna
d-ayr?l?k
?zelli?inden
yararlan?larak karar verilir.
? Nedensel bir a?da yer alan iki de?i?ken A
ve B olmak üzere, bu de?i?kenler
aras?ndaki tüm yollar? kesen bir C
de?i?keni varsa ve
? A ile B aras?nda dizisel (serial) ya da
yay?lan (diverging) ba? varsa ve C’nin
durumu biliniyorsa ya da
? A ile B aras?nda birle?en (converging)
ba? varsa ve C ya da C’nin soy
dü?ümleri hakk?nda herhangi bir
bilgi yoksa,
A ile B de?i?kenlerinin “d-ayr? (d-seperated)”
oldu?u s?ylenebilir. A ile B, d-ayr? de?il ise,
“d-ba?l? (d-connected)”d?r.

Dizisel Ba?:

Ayr?lan Ba?:

Birle?en Ba?:

BAYESC? A?LARDA ?IKARSAMA

?
? Bayesci a?larda ??karsamalar, ilgilenilen de?i?kenlerin marjinal
da??l?mlar? hesaplanarak (ilgisiz de?i?kenler üzerinden ?ok
de?i?kenli olas?l?k da??l?m?n?n toplam? al?narak) yap?l?r.
? Bayesci a?larda ??karsamalar en genel anlamda iki ?ekilde
ger?ekle?tirilir.
? Bunlardan ilkinde, bir dü?üme ebeveyn dü?ümleri vas?tas?yla
ba?l? olan bilgi dü?ümlerinden yararlan?larak ger?ekle?tirilir.
Bu hesaplama y?ntemi, “yukar?dan a?a??ya ??karsama” olarak
adland?r?l?r.
? Di?er ??karsama y?nteminde ise, bir dü?üme ?ocuk dü?ümleri
vas?tas?yla ba?l? olan bilgi dü?ümlerine dayan?r. Bu y?ntem
“a?a??dan yukar?ya ??karsama” olarak adland?r?l?r


?

Bir ki?inin s?rt a?r?s? ?ekti?i bilindi?inde ofis sandalyelerinin konforsuz olma olas?l??? a?a??daki gibi
hesaplan?r.

P Sa D A

P Sa D,A

D

P Sa D,A
P A

D

D

P Sa D P Sp P ?a D P B Sp,Sa D P A

D

DB

Sp,?a,B D,Y

P A

P Sa P Sp P ?a Sa P B Sp,Sa P A

D

DB

Sp,?a,B,Sa D,Y

De?i?kenlerin iki durumu oldu?unda dahi, yukar?daki e?itliklerden de g?rüldü?ü gibi, ?ok de?i?kenli olas?l?k
da??l?m? üzerinden marjinal ve ko?ullu da??l?mlar? hesaplamak zor ve karma??kt?r. ?ok de?i?kenli olas?l?k
da??l?m? üzerinden i?lem yapma süresi, de?i?ken say?s?na g?re üstel olarak artar. Tüm de?i?kenler
üzerinden toplam alma i?lemi “tam ??karsama (exact inferfence)” olarak bilinir ve zor bir problemdir. Bu
nedenle literatürde, tam ??karsama problemlerini a?lar? s?n?fland?rarak ??zen etkili algoritmalar ?nerilmi?tir.


?
? Bayesci a? yap?s?n?n olu?turulmas? ve a?daki parametrelerin
belirlenmesi i?in uzman g?rü?lerinden yararlan?l?r.
? Ancak, uygun uzman g?rü?üne ula?mak her zaman mümkün
de?ildir.
? Güncel uygulamalar?n ?o?unda, konu ile ilgili yeterli uzman
g?rü?ü elde edilemedi?i i?in Bayesci a?lar?n olu?turulmas?nda
veri kümesinden yararlanmak gerekmektedir.
? Bu konu “Bayesci a?larda ??renme problemi” olarak bilinir ve
veri ile ?nsel bilgi (uzman g?rü?ü, nedensel ili?kiler)
verildi?inde a? yap?s?n?n ve parametrelerin tahmin edilmesi
olarak tan?mlan?r.

BAYESC? A?LARDA ??RENME

?
? A? yap?s?n?n ??renilmesi, parametrelerin ??renilmesinden daha zor bir
problemdir. Ayr?ca, gizli dü?ümler ya da kay?p veri gibi k?smi
g?zlenebilirlik durumu s?z konusu oldu?unda ba?ka zorluklar da
ortaya ??kar. Genellikle, farkl? ??renme y?ntemlerinin ?nerildi?i d?rt
farkl? ??renme durumu s?z konusudur.
Durum BN Yap?s? G?zlenebilirlik ?nerilen ??renme y?ntemi
1

Biliniyor

Tam

En ?ok olabilirlik tahmini

2

Biliniyor

K?smi

EM ya da MCMC

3

Bilinmiyor

Tam

Model uzay?n?n ara?t?r?lmas?

4

Bilinmiyor

K?smi

EM+Model uzay?n?n ara?t?r?lmas?


?

? Bayesci a? yap?s?n?n ??renilmesinde verilen bir D={x1, x2, …, xn}
??renme veri kümesi i?in em uygun ?B? Bayesci a??n?n bulunmas?
ama?lan?r.
? Bunun i?in de genellikle bir skor fonksiyonundan yararlan?l?r. Bu skor
fonksiyonlar?ndan en s?k kullan?lanlar: Bayesci skor fonksiyonu ve en
kü?ük tan?m uzunlu?u (minimum discription length-MDL) ilkesine
dayal? bir fonksiyondur.
? MDL ilkesi veriyi ?zetlemeye dayal? olarak ??renmeyi ger?ekle?tirir. Bu
ilkede ama?, orijinal verinin en k?sa tan?m?n? yapabilmektir.


?
? B=(G, Θ) bir Bayesci a? ve D={x1, x2, …, xn} ??renme veri
kümesi olsun. D verildi?inde B a??na ili?kin MDL skor
fonksiyonu:
log N
B LL B D
2
? |B|, a?daki parametre say?s?d?r.
? LL(B|D) ise D bilindi?inde B’nin logaritmik olabilirlik
fonksiyonudur:
MDL B D

LL B D

N
i 1

log PB x i

BAYESC? A? SINIFLANDIRICISI

?

? Bir Bayesci a? s?n?fland?r?c?s?, C s?n?f de?i?keni, X1, …, Xn di?er
de?i?kenler olmak üzere X=(X1, …, Xn, C) de?i?ken kümesi i?in bir
Bayesci a?d?r.

? ?nceki b?lümde verilen ??renme y?ntemleri ile belirlenen ve
P(X1, X2, …, Xn, C) olas?l???n? modelleyen Bayesci a? B olsun.
? Bu s?n?fland?r?c?, B modeli üzerinden PB(c| x1, x2, …, xn) sonsal
olas?l???n? maksimum yapan c s?n?flar?n? belirler.
arg max PB C|X1, X 2 ,?, X n
C

? Literatürde, s?n?fland?rma i?in kullan?lan Bayesci a? yap?s?n? belirleyen
bir ?ok farkl? yakla??m vard?r.

BAYESC? A? SINIFLANDIRICISI –
NAIVE BAYES SINIFLANDIRICISI

?

? Naive Bayesci a?larda, her Xi de?i?keninin tek ebeveyni C s?n?f
de?i?kenidir.
? Di?er s?n?fland?r?c?lar?n aksine, olu?turulmas? kolayd?r, yap?s?
?nceden belirlenmi?tir.
? Tüm Xi de?i?kenlerinin ba??ms?z oldu?u varsay?l?r. Ger?e?e
?ok uygun bir varsay?m olmamas?na ra?men, de?i?kenler
aras?nda ?ok gü?lü ili?kiler olmad??? sürece di?er bir ?ok
s?n?fland?r?c?dan daha iyi sonu?lar vermektedir.

BAYESC? A? SINIFLANDIRICISI – TREE AUGMENTED
NAIVE (TAN) BAYES SINIFLANDIRICISI

?

? TAN s?n?fland?r?c?s?nda her bir Xi de?i?keninin bir ya da iki ebeveyni
vard?r. Bunlardan bir tanesi s?n?f de?i?keni C, di?eri ise ili?kili
oldu?u ba?ka bir Xj (i≠j) de?i?kenidir.
? De?i?kenler aras?nda Naive Bayes s?n?fland?r?c?s? ile
modellenemeyecek kadar gü?lü ili?kiler olmas? durumunda TAN
s?n?fland?r?c?s? kullan?l?r.
? C s?n?f de?i?kenine ek olarak de?i?kenler aras?na yeni ba?lar
eklenebilir ancak bu yeni a?lar a?a? yap?s?n? bozmamal?d?r.

BAYESC? A? SINIFLANDIRICISI – TREE
AUGMENTED NAIVE (TAN) BAYES
SINIFLANDIRICISI

?

? En iyi TAN s?n?fland?r?c?s?n? bulmada kullan?lan bir algoritmada,
logaritmik olabilirlik fonksiyonu maksimize edilmeye ?al???l?r. Bu
algoritmada temel dü?ünce ilk olarak tam bir a??rl?kland?r?lm?? y?nsüz
bir grafik olu?turmakt?r. Bu grafikte Xi ile Xj de?i?keni aras?ndaki ba?,
C s?n?f de?i?keni verildi?in de Xi ile Xj aras?ndaki ko?ullu kar??l?kl?
bilgidir. Daha sonra, farkl? bir algoritma (MWST) ile de?i?kenler
aras?ndaki ba?lar?n y?nü belirlenir.

BAYESC? A? SINIFLANDIRICISI – BN AUGMENTED
NAIVE BAYES (BAN) SINIFLANDIRICISI

?

? BAN s?n?fland?r?c?s?n?n TAN s?n?fland?r?c?s?ndan fark?, de?i?kenler
aras?ndaki ba?lar?n a?a? yap?s?nda olma zorunlulu?unun
olmamas?d?r.
? MDL skor fonksiyonu ya da CI (conditional independence) testi
yard?m?yla BAN’?n s?n?fland?rma performans? ara?t?r?labilir.

BAYESC? A? SINIFLANDIRICISI – BAYESIAN
MULTI NET

?

? Bu s?n?fland?r?c?, C s?n?f de?i?keninin her bir düzeyi i?in farkl? bir
Bayesci a? olu?turur.
? BAN s?n?fland?r?c?lar?n?n genelle?tirilmi? halidir.
? C’nin her bir düzeyi i?in farkl? bir grafik yap?s? olu?turulabilir.
? De?i?kenler aras?ndaki ili?kiler i?in bir k?s?t yoktur.

BAYESC? A? SINIFLANDIRICISI – GENEL
BAYESC? A? (GBN)

?

? K?s?ts?z bir BN s?n?fland?r?c?s?d?r.
? Bundan ?nceki s?n?fland?r?c?larda, s?n?f de?i?keni ?zel bir
de?i?kendir. GBN, s?n?f de?i?kenini dü?er de?i?kenlerden
ay?rmaz. S?n?f de?i?keninin tüm de?i?kenlerin ebeveyni
olma zorunlulu?u yoktur.

狠狠撸

Bayes Aglari

More Related Content

Bayes Aglari