�ݺ�ߣ

Restricted Boltzmann Machine
김정원

왜 Restricted Boltzmann Machine?
● Deep Neural Network의 초기 버전
○ 엄밀하게는 Deep Belief Network의 기본 Unit
● 앞으로 거쳐갈 Convolution Neural Network (CNN)과 유사한 구조
● 수식으로 이해하는 것에 적응(?)

Restricted Boltzmann Machine (RBM) 요약

RBM Equations
Energy Function
Probability (After Energy)
Normalizing constant
Conditional distributions

Energy Function
● Weight와 bias가 이러한 형태로 생겼을 것이다 라고 정해놓음
● 여기에서는 weight와 bias를 학습
○ 엄밀하게는 w_ij, b_i, a_i를 구하는 것
○ 이 parameter들은 Neural Network의 weight라고 보면 됨
● Energy가 주어지면 확률(Probability)를 정의할 수 있음

Probability Function
● Normalizing Constant
○ 모든 가능한 hidden과 visible에 대해 expectation을 취함
○ 예시
■ Visible node가 100개
■ Hidden node가 100개 라고 한다면
■ (0, 1) 두 종류가 200개에 대해서 모두 나와야 하므로,
■ 2200만큼의 가지수가 존재함 (100 + 100 = 200)
■ 이만큼 Summation을 해줘야 Normalizing Constant를 구할 수 있음

Conditional Distribution
● Probability function은 Joint distribution이다.
○ Joint distribution을 구할 수 있다면, 한 쪽에 대한 conditional distribution을 구할 수 있다
○ 따라서 Probability function에서 conditional distribution을 구한다

Parameter 계산
● 어떠한 visible이 주어졌을때 그 visible을 최대로 하는 parameter를 찾는 것
○ -log P(v | theta)의 gradient를 구하는 것으로 문제를 해결할 수 있다
● Sum rule
○ 특정 경우의 확률이 나올 경우를 다 더하면 특정 경우를 제외한 확률을 구할 수 있음

Parameter 계산
● Positive phase: 주어진 v(visible)의 Energy를 낮춤 (수식 앞부분)
● Negative phase: 모든 (v, h)의 Energy를 높임 (수식 뒷부분)
● P(v|h): hidden이 주어졌을때 visible의 확률

�ݺ�ߣ

Restricted Boltzmann Machine

More Related Content

Restricted Boltzmann Machine