�ݺ�ߣ

FeUdal Networks for
Hierarchical RL
Alexander Sasha Vezhnevets, Simon Osindero, Tom Schaul, etc.
DeepMind
Youngseok Yoon, MLG POSTECH.

Contents
• Architecture
• Learning
• Experiments
• Ablative analysis
• Discussion

Architecture (2)
• 𝑓 𝑝𝑒𝑟𝑐𝑒𝑝𝑡: CNN(16 8x8 4, 32 4x4 2) + FCL(256)
• 𝑓 𝑀𝑠𝑝𝑎𝑐𝑒: FCL
• To encourage exploration in transition policy,
by 𝜖, emit random goal sampled.
• 𝑓 𝑊𝑟𝑛𝑛
: Standard LSTM, 256
• 𝑓 𝑀𝑟𝑛𝑛
: dLSTM, 256
• dLSTM: dilated LSTM

Learning (1)
• Advantage A-C: 𝛻𝜋 𝑡 = 𝐴 𝑡 𝛻𝜃 log 𝜋(𝑎 𝑡|𝑥 𝑡; 𝜃)
𝐴 𝑡 = 𝑅𝑡 − 𝑉𝑡 𝑥 𝑡; 𝜃
• The direction of state-space (goal):
𝑝(𝑠𝑡+𝑐|𝑠𝑡, 𝑜𝑡) ∝ 𝑒 𝑑 𝑐𝑜𝑠 𝑠 𝑡+𝑐−𝑠 𝑡, 𝑔 𝑡
• Learning of Goal:
𝛻𝜋 𝑡 = 𝛻𝑝 𝑎 𝑡 𝑠𝑡 ⇒ 𝛻𝑝 𝑠𝑡+𝑐 𝑠𝑡, 𝑜t = 𝛻𝑔𝑡
∴ 𝛻𝑔𝑡 = 𝐴 𝑡
𝑀
𝛻𝜃 𝑑 𝑐𝑜𝑠 𝑠𝑡+𝑐 − 𝑠𝑡, 𝑔𝑡 𝜃
𝐴 𝑡
𝑀
= 𝑅𝑡 − 𝑉𝑡
𝑀
𝑥 𝑡, 𝜃

Learning (2)
• Intrinsic reward for Worker:
𝑟𝑡
𝐼
=
1
𝑐
𝑖=1
𝑐
𝑑 𝑐𝑜𝑠 𝑠𝑡 − 𝑠𝑡−𝑖, 𝑔𝑡−𝑖
• Worker’s Policy gradient:
𝛻𝜋 𝑡 = 𝐴 𝑡
𝐷
𝛻𝜃 log 𝜋(𝑎 𝑡|𝑥 𝑡; 𝜃)
𝐴 𝑡
𝐷
= 𝑅𝑡 + 𝛼𝑅𝑡
𝐼
− 𝑉𝑡
𝐷
𝑥 𝑡; 𝜃
• Manager’s Transition Policy Gradients
𝛻𝜃 𝜋 𝑡
𝑇𝑃
= 𝔼 𝑅𝑡 − 𝑉 𝑠𝑡 𝛻𝜃 log 𝑝(𝑠𝑡+𝑐|𝑠𝑡; 𝑜𝑡)

Discussion
• Previous action 이 input으로 들어간다는 언급이 없다.
당연히 들어가는 건지, 여기선 넣지 않는건지.
• 결국 𝑠𝑡+𝑐의 state를 predict하여 sub-goal 을 만들겠다는 발상.
• Step c의 크기가 어떤 역할을 하는지. (c=1에서도 잘 동작.)
=>c size가 중요한 문제도 있고 아닌 문제도 있다고 생각.
• Manager는 input state s를 c step 씩 건너뛰어 predict 하는데,
이 c를 hyper-parameter가 아닌 model parameter로 사용할 수
있을 지
• Mager위에 2c, c2 등의 Meta-Manager (Hyper-Manager)를 둘
수 있을지.

�ݺ�ߣ

Feudal networks for hierarchical reinforcement learning

More Related Content

Feudal networks for hierarchical reinforcement learning