�ݺ�ߣ

Introduction to
Machine Learning with Python
2. Supervised Learning(1)
Honedae Machine Learning Study Epoch #2
1

Contacts
Haesun Park
Email : haesunrpark@gmail.com
Meetup: https://www.meetup.com/Hongdae-Machine-Learning-Study/
Facebook : https://facebook.com/haesunrpark
Blog : https://tensorflow.blog
2

Book
파이썬 라이브러리를 활용한 머신러닝, 박해선.
(Introduction to Machine Learning with Python, Andreas
Muller & Sarah Guido의 번역서입니다.)
번역서의 1장과 2장은 블로그에서 무료로 읽을 수 있습니다.
원서에 대한 프리뷰를 온라인에서 볼 수 있습니다.
Github:
https://github.com/rickiepark/introduction_to_ml_with_python/
3

지도 학습supervised learning
입력과 출력의 샘플 데이터가 있을 때 새로운 입력에 대한 출력을 예측합니다.
5
훈련(training, learning)
예측(predict, Inference)
사전에 데이터를 만드는 노력이 필요합니다(자동화 필요).

분류classification와 회귀regression
분류는 가능성 있는 클래스 레이블 중 하나를 예측합니다.
이진 분류binary classification의 예: 두 개 클래스 분류(스팸, 0-음성클래스, 1-양성클래스)
다중 분류multiclass classification의 예: 셋 이상의 클래스 분류(붓꽃 품종)
언어의 종류를 분류(한국어와 프랑스어 사이에 다른 언어가 없음)
대부분 머신러닝 문제가 분류의 문제입니다.
회귀는 연속적인 숫자(실수)를 예측합니다.
예)교육, 나이, 주거지를 바탕으로 연간 소득 예측
전년도 수확량, 날씨, 고용자수로 올해 수확량 예측
예측 값에 미묘한 차이가 크게 중요하지 않습니다.(연봉 예측의 경우 40,000,001
원이나 39,999,999원이 문제가 되지 않습니다.)
통계학에서 많이 연구되어 왔습니다.
6

회귀 - Regression
7
“regression toward the mean”
프랜시스 골턴Francis Galton

일반화, 과대적합, 과소적합
일반화generalization
훈련 세트로 학습한 모델을 테스트 세트에 적용하는 것입니다.
(예, 모델이 테스트 세트에 잘 일반화가 되었다)
과대적합overfitting
훈련 세트에 너무 맞추어져 있어 테스트 세트의 성능 저하되는 현상입니다.
(예, 모델이 훈련 세트에 과대적합되어 있다)
과소적합underfitting
훈련 세트를 충분히 반영하지 못해 훈련 세트, 테스트 세트에서 모두 성능 저하되는
현상입니다. (예, 모델이 너무 단순하여 과소적합되어 있다)
8

너무 상세한 모델  과대적합
9
45세 이상, 자녀 셋 미만,
이혼하지 않은 고객이
요트를 살 것이다.
요트회사의 고객 데이터를 활용해 요트를 사려는 사람을 예측하려고 합니다.
만약 10,000개의
데이터가 모두 이
조건을 만족한다면?

너무 간단한 모델  과소적합
10
집이 있는 고객은
모두 요트를 살 것이다.

모델 복잡도 곡선
11
데이터에 대한 민감성
알고리즘 자체 오차
(y = ax + b 의 b가 아님)
편향-분산 트레이드오프bias-variance tradeoff라고도 부릅니다.

데이터셋과 복잡도 관계
데이터가 많으면 다양성이 커져 복잡한 모델을 만들 수 있습니다.
10,000명의 고객 데이터에서 45세 이상, 자녀 셋 미만, 이혼하지 않은 고객이
요트를 사려한다면 이전보다 훨씬 신뢰 높은 모델이라고 할 수 있습니다.
12
훈련
테스트
(less complex) (more complex)

데이터셋
forge 데이터셋
인위적으로 만든 이진 분류 데이터셋, 26개의 데이터 포인트, 2개의 속성
13

데이터셋
wave 데이터셋
인위적으로 만든 회귀 데이터셋, 40개의 데이터 포인트, 1개의 속성
14

데이터셋
위스콘신 유방암 데이터셋
악성Malignant(1)/양성Benign(0)의 이진 분류, load_breast_cancer(),
569개의 데이터 포인트, 30개의 특성
보스턴 주택가격 데이터셋
1970년대 보스턴 주변의 주택 평균가격 예측, 회귀 데이터셋, load_boston(),
506개의 데이터 포인트, 13개의 특성
확장 보스턴 주택가격 데이터셋
특성끼리 곱하여 새로운 특성을 만듦(특성 공학, 4장, PolynomialFeatures),
mglearn.datasets.load_extended_boston(), 104개의 데이터 포인트
중복 조합 공식은 𝑛
𝑘
= 𝑛+𝑘−1
𝑘
이므로 13
2
= 13+2−1
2
=
14!
2! 14−2 !
= 91
15
양성positive, 음성negative
특성의 제곱이 만들어짐

load_breast_cancer()
16
(샘플, 특성)
Bunch 클래스의 키
타깃

load_boston()
17
원래 13개 특성
확장된 104개 특성
이 책의 예제를 위해서 만든
확장된 데이터셋

k-최근접 이웃 분류
새로운 데이터 포인트에 가까운 이웃 중 다수 클래스majority voting를 예측합니다.
forge 데이터셋에 1-최근접 이웃, 3-최근접 이웃 적용하면 다음과 같습니다.
19
예측이 바뀜

k-NN 분류기
20
훈련 세트와 테스트 세트로 분리
모델 객체 생성
모델 평가
모델 학습

KNeighborsClassifier 분석
21
more complex
과대적합
less complex
과소적합
일정한 간격으로 생성한 포인트의
예측 값을 이용해 결정 경계 구분

k-NN 분류기의 모델 복잡도
22
more complex less complex
최적점
과대적합
과소적합

k-최근접 이웃 회귀
새로운 데이터 포인트에 가까운 이웃의 출력값 평균이 예측이 됩니다.
wave 데이터셋(1차원)에 1-최근접 이웃, 3-최근접 이웃 적용하면 다음과 같습니다.
24
테스트 데이터
예측

k-NN 추정기
25
모델 객체 생성
모델 평가
모델 학습

회귀 모델의 평가
회귀 모델의 score() 함수는 결정 계수 𝑅2
를 반환
𝑅2 = 1 −
𝑖=0
𝑛
𝑦 − 𝑦 2
𝑖=0
𝑛
𝑦 − 𝑦 2 𝑦: 타깃값 𝑦: 타깃값의 평균 𝑦: 모델의 예측
완벽 예측: 타깃값==예측  분자==0, 𝑅2 = 1
타깃값의 평균 정도 예측: 분자≈분모, 𝑅2 = 0이 됨
평균 보다 나쁘게 예측하면 음수가 될 수 있음
26

KNeighborsRegressor 분석
27
more complex
과대적합
less complex
과소적합

장단점과 매개변수
중요 매개변수
포인트 사이의 거리 측정 방법: metric 매개변수 기본값 ‘minkowski’ 이고
p 매개변수 기본값 2 일 때,
유클리디안 거리 𝑖=0
𝑚
𝑥1
(𝑖)
− 𝑥2
(𝑖) 2
이웃의 수(n_neighbors): 3개나 5개(기본값)가 보편적
장점 이해하기 쉬움, 특별한 조정 없이 잘 작동, 처음 시도하는 모델로 적합,
비교적 모델을 빠르게 만들 수 있음
단점 특성 개수나 샘플 개수가 크면 예측이 느림,
데이터 전처리 중요(스케일이 작은 특성에 영향을 줄이지 않으려면 정규화 필요),
(수백개 이상의) 많은 특성을 가진 데이터셋에는 잘 작동하지 않음,
희소한 데이터셋에 잘 작동하지 않음
28

회귀의 선형 모델
선형 함수(linear model)를 사용하여 예측
𝑦 = 𝑤 0 × 𝑥 0 + 𝑤 1 × 𝑥 1 + ⋯ + 𝑤 𝑝 × 𝑥 𝑝 + 𝑏
𝑦 = 𝑤0 × 𝑥0 + 𝑤1 × 𝑥1 + ⋯ + 𝑤 𝑝 × 𝑥 𝑝 + 𝑏
특성 : 𝑥 0 ~𝑥 𝑝 특성 개수: (p + 1)
모델 파라미터model parameter: 𝑤 0 ~𝑤 𝑝 , 𝑏
𝜔 : 가중치weight, 계수coefficient, 𝜃, 𝛽 e.g. model.coef_
𝘣 : 절편intercept, 편향bias e.g. model.intercept_
하이퍼파라미터hyperparameter: 학습되지 않고 직접 설정해 주어야 함(매개변수)
e.g. KNeighborsRegressor의 n_neighbors
30
사용자가 지정한
매개변수와 구분

wave 데이터셋(특성 1개)으로 비교
31
선형 모델 k-최근접 이웃
𝑦 = 𝑤 0 × 𝑥 0 + 𝑏
k-최근접 이웃에 비해
단순해 보이지만
특성이 많으면 오히려
과대적합 되기 쉽습니다.
선형 모델은 특성이 두 개이면 평면, 세 개 이상은 초평면hyperplane이 됩니다.

최소제곱법OLS, ordinary least squares
평균제곱오차mean square error(MSE =
1
𝑛 𝑖=0
𝑛
𝑦𝑖 − 𝑦𝑖
2)를 최소화
LinearRegression: 정규방정식normal equation 𝛽 = 𝑋 𝑇
𝑋 −1
𝑋 𝑇
𝑦을 사용하여 w, b를 구함
32
모델 평가
모델 객체 생성 & 학습
과소적합(1차원 데이터셋이라 예상한 대로)
가중치는 특성의 개수만큼

최소제곱법OLS, ordinary least squares
보스턴 주택 가격 데이터셋, 506개 샘플, 104개 특성
33
훈련 세트와 테스트 세트의 R2 점수 차이가 큼
특성이 많아 가중치가 풍부해져(104개의 차원) 과대적합 됨
동일한 기본 매개변수로 훈련

릿지ridge
선형 모델(MSE 최소화) + 가중치 최소화(가능한 0에 가깝게)
L2 규제regularization : L2 노름norm의 제곱 𝑤 2
2
= 𝑗=1
𝑚
𝑤𝑗
2
비용 함수cost function : 𝑀𝑆𝐸 + 𝛼 𝑗=1
𝑚
𝑤𝑗
2
손실 함수loss function, 목적 함수objective function 라고도 부름
𝛼가 크면 페널티가 커져 𝑤𝑗가 작아져야 함(과대적합 방지)
𝑤𝑗가 0에 가깝게 되지만 0이 되지는 않음
34
최적값
페널티penalty
⍺↑
⍺↓

Ridge 클래스
35
(가중치가 규제되어) 과대적합이 줄고
테스트 세트 점수가 상승됨
기본값 alpha=1.0
제약이 너무 커짐
과소적합 alpha=0.00001
로 하면 비슷해짐
최소제곱법

Ridge.coef_
36
alpha 값에 따른 coef_ 값의 변화

규제와 훈련 데이터의 관계
보스턴 주택가격 데이터셋의 학습곡선 : LinearRegression vs Ridge(alpha=1)
37
훈련 세트의 점수는
릿지가 더 낮음
테스트 세트의 점수는
릿지가 더 높음
데이터가 적을 땐
LinearRegression 학습 안됨
R2 < 0
(4~10 samples per weight)
데이터가 많으면
규제 효과 감소
(복잡한 모델이 가능해짐)
데이터가 많아지면
과대적합 줄어듬

라쏘Lasso
38
선형 모델(MSE 최소화) + 가중치 최소화(가능한 0으로)
L1 규제 : L1 노름 𝑤 1 = 𝑗=1
𝑚
𝑤𝑗
비용 함수cost function : 𝑀𝑆𝐸 + 𝛼 𝑗=1
𝑚
𝑤𝑗
𝛼가 크면 페널티가 커져 𝑤𝑗가 더 작아져야 함
𝑤𝑗가 0이 될 수 있음(특성 선택의 효과)
일부 계수가 0이 되면 모델을 이해하기 쉽고
중요한 특성을 파악하기 쉽습니다.
최적값
⍺↑
⍺↓

Lasso
39
alpha=1.0, max_iter=1000
과소적합(규제가 너무 큼), 4개의 특성만 활용됨
규제를 너무 낮추면 LinearRegression과 비슷
좌표하강법coordinate descent
최소제곱법
릿지와 비슷

Lasso.coef_
40
alpha 값에 따른 coef_ 값의 변화

Ridge vs Lasso
일반적으로 릿지가 라쏘보다 선호됨
L2 페널티가 L1 페널티보다 선호됨 (SGD에서 강한 수렴)
많은 특성 중 일부만 중요하다고 판단되면 라쏘
분석하고 이해하기 쉬운 모델을 원할 때는 라쏘
41

ElasticNet
릿지와 라쏘 페널티 결합 (R의 glmnet)
alpha, l1_ratio 매개변수로 L1 규제와 L2 규제의 양을 조절
사실 Lasso는 ElasticNet(l1_ratio=1.0)와 동일
42
𝑀𝑆𝐸 + 𝛼 × 𝑙1_𝑟𝑎𝑡𝑖𝑜
𝑗=1
𝑚
𝑥𝑗 +
1
2
𝛼 × 1 − 𝑙1_𝑟𝑎𝑡𝑖𝑜
𝑗=1
𝑚
𝑤𝑗
2
𝑙1 = 𝛼 × 𝑙1_𝑟𝑎𝑡𝑖𝑜 𝑙2 = 𝛼 × 1 − 𝑙1_𝑟𝑎𝑡𝑖𝑜
𝛼 = 𝑙1 + 𝑙2 𝑙1_𝑟𝑎𝑡𝑖𝑜 =
𝑙1
𝑙1 + 𝑙2
𝑙1과 𝑙2에 맞추어
𝛼와 𝑙1_ratio을 조절

�ݺ�ߣ

2.supervised learning(epoch#2)-1

Recommended

More Related Content

What's hot (20)

Similar to 2.supervised learning(epoch#2)-1 (20)

2.supervised learning(epoch#2)-1

Editor's Notes