�ݺ�ߣ

기계 학습의 현재와 미래
Joon Hee Kim 
KAIST 
Users and Information Lab
1

소개
• 김준희 
= 카이스트 전산학과 박사 과정 (uilab.kaist.ac.kr, 마지막 학기!!) 
+ 코노랩스 (kono.ai, 인공지능 스케쥴링 비서) 리서치 엔지니어
• 연구분야 
베이지안 통계 모델, 텍스트 중심 빅 데이터, 유저 프로파일링
• 가장 최근 연구 
클릭율이 높아지도록 자동으로 헤드라인 단어를 생성하는 기계 학습
모델 
(headline.joonhee.kim, Yahoo! Research, KDD 2016)

목차
1.딥 러닝 ��부��
2.딥 러닝의 최근 동향
3.기계 학습의 도전 과제
4.현재와 미래의 ��플리케이션

딥 러닝 ��부��
http://www.asimovinstitute.org/neural-network-zoo/

input cell
hidden cell
output cell

connection

x1
x2
x3
1
2
3
y
y =
1
1 + e x
activation function

layer

FFNN
feed forward neural network
- input, hidden, output layer
- 가장 기본적인 네트워크 형태
- 답이 정해져 있는 지도 학습에서 사용
- 다른 네트워크와 결합하여 많이 사용

auto-encoder
- input, hidden, output layer
- input = output
- automatically encode information
- 데이터를 적은 차원으로 압축
- 정해진 답이 없는, 비지도 학습에서 사용
- 앞: 인코딩 // 뒤: 디코딩

잠깐 진짜 ��부��!
시각 정보 망막 절세포
- 방향
- 색
- 밝기
외측 슬상핵
- 운동, 깊이
- 색, 형태
V1
- 모서리
- 일반적, 대략적 형태
V2
- 형태 구분
- 형태 기억

CNN
convolutional neural network
convolution layer
- 필터를 사용하여 지역성 학습 
rectifier layer
- 신호 처리 
pooling layer
- 다운샘플링 (pooling) 
fully-connected layer
- 학습

알파고
학습 순서 
1) 인간 전문가의 데이터 
- 지엽적 요령 파악 
- 지도 학습 정책
2) 스스로와의 싸움 
- 강화 학습 정책 
- 가치 네트워크 
 
학습 도구
a) Monte Carlo Tree
Search
b) CNN

deconvolutional network
- input: 고양이 단어
- output: 고양이 사진

deep convolutional 
inverse graphics networks
- auto-encoder + CNN
- input: 고양이 사진
- output: 고양이 사진

인풋 정답�ѫ��풋 인풋 정답�ѫ��풋

GAN
generative adversarial network
- 2개의 네트워크의 경쟁
- 1) 속인다: 그럴싸한 데이터를 만든다
- 2) 맞춘다: 진짜 vs. 가짜

RNN
recurrent neural network
- 단기 기억

LSTM
long/short-term memory
- 장기 기억
- 중요한 것을 선택적으로 기억한다
- 필요하지 않은 정보를 잊는다
- 언어 학습, 번역
- 작곡

자동 번역
CNN (시각) + LSTM (언어)

챗봇 / 인공지능 비서
LSTM

2. 딥 러닝의 최근 동향

현재 딥 러닝의 쟁점
• 딥러닝 + 강화학습의 초강세 
(위) NIPS 학회 참여 
(아래) nvidia 주식

(생물학적 직관에 의한) 새로운 레이어 개발 시도

다 잘 되네. 그럼 이제 어디에 적용할까?
1. 기존에 있는 걸 더 잘하자: ex. 영상 의학 (시각), 챗봇 (텍스트)
2. 컨벌전스 (여러 도메인 합치기): ex. 적응형 VR (시각 + 텍스트)
3. 완전히 새로운 무언가 = ?

현재 딥 러닝의 문제점
• 여전히 만연하는 연구의 쏠림 현상 
(or 부익부 빈익빈 or 유행)
• 설명되지 않는 잔상
• 더 크게 더 많이가 아닌, 명확한 이론과 방향성이 필요

2016 학회 동향
• NIPS: 기계 학습, 계산 신경학 
115 / 569 (딥러닝 관련 / 전체 논문)
• ICML: 기계 학습 
58 / 322
• KDD: 데이터 마이닝 
10 / 208

현재 딥 러닝의 도전 과제
• 구조 
새로운 레이어, activation function
• 도메인 
새로운 문제, 도메인, 학습법
• 베이지안 
베이지안과 장단점 합치기
• 응용 
강화학습, non-convex optimization, 비전, 텍스트, 시계열
데이터
• 해석 
이게 왜 되지?

NIPS
0
10
20
30
40
구조 도메인 베이지안 응용 설명
• 키워드 
GAN, attention, LSTM, 
생물학적 모델
• Learning what and where to draw

Learning What and Where to Draw
GAN
두개의 네트워크가 서로 경쟁
g-net: 최대한 비슷한 이미지 생성
d-net: 진짜와 가짜를 구분

ICML
• 키워드 
새로운 레이어, 강화 학습 
Why does X work?
• Pixel Recurrent Neural Networks
• Dueling Network Architectures 
for Deep Reinforcement Learning 0
6
12
18
24

Pixel Recurrent Neural Networks
목표: 가려진 이미지 재구성 모델: Bi-directional LSTM
• 2차원 LSTM 을 구성
• CNN 이 아닌 RNN (LSTM) 을 맥락이라는 의미로 이미지에 적용
• 이미지의 다양한 재구성, 블러 없애기, 화질 증가 등에 사용

Dueling Network Architectures for 
Deep Reinforcement Learning
이때 이렇게 행동해야지
강화학습
=
지금 이런 상황이야 이때 이렇게 행동해야지
- 상황과 행동 따로 학습
- 더 빠른 학습
- 더 효율적인 일반화

KDD
• 키워드: 어디에 사용할까?
• Transferring Deep Visual Semantic Features 
to Large-Scale Multimodal Learning to Rank
0
2
4
6
8

Transferring Deep Visual Semantic

Features to Large-Scale Multimodal Learning to Rank
1. CNN 을 통하여 각 상품의 이미지+텍스트 생성

2. 유저의 클릭 정보를 통하여 유저의 이미지-텍스트 취향 파악

3. 기계 학습의 도전 과제

딥 러닝
• 구조 
새로운 레이어, activation function
• 도메인 
새로운 문제, 도메인, 학습법
• 베이지안 
베이지안과 장단점 합치기
• 응용 
강화학습, non-convex optimization, 비전, 텍스트, 시계열
데이터
• 해석 
이게 왜 되지?

강화 학습
• 이론 
- 현재 알고리즘은 (Q-Learning, Policy Gradients) 
기존의 방법에 딥 러닝에 접목 시킨 정도
• 환경 
- 적은 데이터와 적은 변수로 학습 
- 다자간 학습
• 응용 
- 온라인: 게임 외에 어떻게 사용 할 것인가? 
- 오프라인: 무인 자동차, 드론, 로보틱스 (무한한 실험이 힘
들다) 
- 새로운 적용 분야는?

자연어 처리
1. 기계적 NLP (현재 위치) 
- 문장 이해, 문장 생성 
- 문맥 파악 
- 기계 번역
2. 인간적 NLP 
- 감정, 뉘앙스, 분위기 분석 
- 사회적 대화
3. 새로운 생각 발생 
- 연구 주제 생성 
- 전략적 생각 
- 시/소설 작성, 몽상

비젼/음성
• 딥 러닝 
새로운 레이어 구조, 생물학적 힌트
• one shot learning
• 비디오
• 언어와 연결
• 멀티미디어 생성
• 아름다움, 유행

4. 현재와 미래의 ��플리케이션

챗봇
• 개인 AI 비서 
- 모바일, 모바일, 모바일 
- iOS vs. Android 와 동일한 플랫폼의 문제
• 실제 사람의 AI 페르소나 
- 살아 있을때 및 사후에도, 혹은 예전의 위인들도

의학
• 약학, 유전학
• 영상의학과 
- 암, 뇌, 눈, 폐 진단에서 인간과 비슷 혹은 그 이상 
- 제 3세계
• 정신과 
- 우울증 진단 및 치료
• 진단의학과 
- Watson 
- 치료를 넘어서, 발병 전 예측 및 향후 건강 예측

엔터테인먼트
• 적응형 VR 
- 생각하는 대로 실시간 시각 정보 생성
• 멀티미디어 추천 / 합성 
- 현재 감정에 맞는 영화, 음악 추천 
- 현재 보고 있는 스포츠 상황에 맞는 배경 음악 합성 
- 자동 요약 및 리플레이
• 여행/관광 
- VR/AR 
- 컨텍스트에 맞는 나레이션 (detour)

그외
• 금융 
- 개인/회사 리스크 분석
• 교육 
- 학생을 정확히 이해
• 유통, 소상공인 
- 정확한 수요 예측, 컨설팅

Reference
• 딥 러닝 구조화 / 시각화 
• 학회 
https://nips.cc/ 
http://icml.cc/2016/ 
http://www.kdd.org/kdd2016/
• 좋은 딥 러닝 강의들 
- Geoffrey Hinton @ Toronto 
https://www.coursera.org/learn/neural-networks 
- Nando de Freitas @ Oxford 
https://www.cs.ox.ac.uk/people/nando.defreitas/
machinelearning/ 
- Deep Learning Summer School 
http://videolectures.net/deeplearning2016_montreal/

Reference
• Silver, David, et al. "Mastering the game of Go with deep neural networks and tree
search." Nature 529.7587 (2016): 484-489.
• Zhang, Richard, Phillip Isola, and Alexei A. Efros. "Colorful Image Colorization."
arXiv preprint arXiv:1603.08511 (2016).
• Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. "A neural algorithm of
artistic style." arXiv preprint arXiv:1508.06576 (2015).
• Reed, Scott E., et al. "Learning what and where to draw." Advances In Neural
Information Processing Systems. 2016.
• van den Oord, Aaron, Nal Kalchbrenner, and Koray Kavukcuoglu. "Pixel Recurrent
Neural Networks." arXiv preprint arXiv:1601.06759 (2016).
• Wang, Ziyu, Nando de Freitas, and Marc Lanctot. "Dueling network architectures
for deep reinforcement learning." arXiv preprint arXiv:1511.06581 (2015).
• Lynch, Corey, Kamelia Aryafar, and Josh Attenberg. "Images Don't Lie: Transferring
Deep Visual Semantic Features to Large-Scale Multimodal Learning to Rank." arXiv
preprint arXiv:1511.06746 (2015).

�ݺ�ߣ

기계 학습의 현재와 미래

Recommended

More Related Content

What's hot (20)

Viewers also liked (20)

Similar to 기계 학습의 현재와 미래 (20)

기계 학습의 현재와 미래