�ݺ�ߣ

CourseraMachineLearning으로
기계학습배우기:week2
1

개요
지난시간에이어CorseraMachineLearning으로기계학습배우기:week2
정리를진행한다.
목차해당포스팅은연재글로써지난연재는아래의링크를참고한다.
CorseraMachineLearning으로기계학습배우기:week1
2

글을읽기에앞서…
본글은필자가코세라기계학습을공부를하는과정에서개념을확고히정
리하기위하는데목적이있다.(필자가나중에내용을다시찾아보기위한
목적이있다.)
코세라강의week개수에맞추어포스팅을진행할예정이다.
코세라의슬라이드에한글주석을단것이핵심으로내용에서글을읽을필
요없이슬라이드그림만으로최대한이해가되게끔하는데목적이있다.
수학은한국의고등수학을베이스로한다.수학적개념이나올때가급적
고등학교수학을베이스로내용을정리한다.
정리내용의목차구성을코세라강의와동일하게맞추고또한제목을원문
으로둔다.(원본강의내용과정리내용을서로서로찾아보기쉽게하기위
함이다.)
3

MultivariateLinearRegression
MultipleFeatures
MultivariateLinearRegression는단일입력변수일때의선형회귀와달리변
수가여러개들어올때의선형회귀개념을뜻한다.이를예제를통해배워본다.
아래의예제는지난강의에계속설명했던단일입력변수일때의선형회귀이다.
4

같은예제가복합입력변수가들어오는예제로바뀌었다.입력변수가제곱피트
하나에서제곱피트,방개수,층수,연식4개로바뀌었다.이러한변화에대응하
기위해새로소개되는수학기호들을그림에서정리한다.
7

입력변수가4개로바뀌면서가설h의수식도변화하였다.
만약에아래그림의예제가학습된모델이라고하면세타값들로부터해
석이가능하다.양수값의세타는positive한영향을준다는뜻이고음수값
은세타는negative한영향을준다는뜻이다.예를들어연식의경우세타
값이‑2가구해졌는데이의미는연식이될수록집값에negative한영향
을준다는뜻이다.
8

가설h함수를수식을편리하게바꾸기위해x0를1로정의하여세타0일때도
값을곱해주면아래의h(x)함수로바뀐다.이때x0,x1...xn까지표현하는벡
터를X로정의하고,세타0,세타1...세타n가지표현하는벡터를세타로정의하
면h(x)함수는X와세타의벡터내적으로표현할수있다.이는다시행렬연산
으로변환하면세타의전체행렬과x행렬을곱한것으로표현할수있다.
9

GradientDescentforMultipleVariables
10

위의수식을최종정리하자면아래와같으세타0,세타1,세타2와같은식으로
수식의규칙성을가진다.
이부분을일반화하면아래와같은세타j를반복적으로구할수있는식이완성
된다.
12

GradientDescentinPracticeI‑FeatureScaling
이번챕터에서는경사감소법을더효과적으로활용할수있는트릭을배운다.
트릭들중하나는FeatureScaling이다.각입력값을정규화시킨다고보면된
다.
아이디어는feature(입력값)들이비슷한비율을가지면경사감소
(GradientDescent)가더빠르게수렴할수있다는것이다.
14

파라미터별로scale이다르면고정된알파값(학습율)을설정하는것이효과적
이지않을수있다.따라서FeatureScaling을통해입력변수의Scale을동일하
게맞추면하나의알파값으로경사감소의효과를볼수있다.
15

MeanNormalization은평균을0으로만들어scale을줄여주는방법이다.
19

GradientDescentinPracticeII‑LearningRate
이번챕터에서는경사감소법을더효과적으로활용할수있는트릭을배운다.
이번에배울트릭은LearningRate알파에관한것이다.
20

FeaturesandPolynomialRegression
25

ComputingParametersAnalytically
NormalEquation
특정선형회귀문제에서세타의최적값을구하는데효과적인방법인Normal
Equation을소개한다.
29

Normalequationandnon‑invertibility(optional)
해당챕터는앤드류교수가선택적으로더궁금한사람만진행하기를권장하는
챕터로SKIP한다.
내용을들어보면역행렬이존재하지않는것도확률적인것이고설령역행렬이
존재하지않더라도Octave에서이를예외처리할수있는pinv()함수가존재
하므로그리신경쓰지않아도된다고얘기하고있다.
40

Octave/MatlabTutorial
코세라강의는따로과제실습이존재하고이를수행하기위해서는Matlab이나
이와동일한오픈소스Octave로구현해야한다.이부분을진행하는데필요한
기본Octave문법을배워보자.
코세라강의내용을실습하기위해Octave,Matlab,Python,NumPy,R등을
사용할수있다.다들좋은언어이지만언어를익히는데시간을너무쏟지말고
Octave나Matlab을통해실습을진행하기를Andrew교수가강력히추천한
다.
필자의개인적인의견은Matlab과문법이동일하고R과도상당히흡사하기때
문에배워두어서나쁠것은없다는것이다.
42

옥타브를실행하면아래와같은화면이나온다.필자는리눅스환경이고윈도우
즈는조금다르게나올수있다.하지만어차피프로그램내에서프롬프트로작
업을할것이기때문에차이는없다.
44

기본연산
기본연산은아래와같이가능하다.
>> 5+6
ans = 11
>> 3-2
ans = 1
>> 5*8
ans = 40
>> 1/2
ans = 0.50000
>> 2^6
ans = 64
45

논리연산
논리연산은아래와같이수행해볼수있다.아래코드에서유의할점은%는주
석표시로써연산자가아니라는점이다.
>> 1 == 2
ans = 0
>> 1 == 2 % false
ans = 0
>> 1 != 2
ans = 1
>> 1 && 0 % false
ans = 0
>> 1 && 0 % AND
ans = 0
>> 1 || 0 % OR
ans = 1
>> xor(1,0)
ans = 1
46

아래명령어로파라미터내문자열이프롬프트출력시DP되는문자열을바꿀
수있다.
PS1('>> ')
47

변수할당및출력
변수할당및출력은아래와같다.
>> a = 3;
>> b = pi;
>> a
a = 3
>> b
ans = 3.1416
>> disp(a);
3
>> disp(sprintf("2 decimals : %0.2f", a))
2 decimals : 3.00
48

벡터
벡터연산은아래와같이수행한다.세미콜론은행을구분하는구분자로한줄에
서입력해도되고엔터로개행을하면서입력을해도인식한다.
>> A = [1 2; 3 4; 5 6]
A =
1 2
3 4
5 6
49

>> A = [1 2;
3 4;
5 6]
A =
1 2
3 4
5 6
>> V = [1 2 3]
V =
1 2 3
50

아래와같이지정하면시작값1부터0.1씩증가하여2까지증가하는벡터를만
든다.
>> v = 1:0.1:2
v =
Columns 1 through 7:
1.00000000000000 1.10000000000000 1.20000000000000
Columns 8 through 11:
1.70000000000000 1.80000000000000 1.90000000000000
52

아래와같은다양한방법으로벡터를만들수있다.
>> v = 1:6
v =
1 2 3 4 5 6
>> ones(2,3)
ans =
1 1 1
1 1 1
53

>> c = 2 * ones(2,3)
c =
2 2 2
2 2 2
>> c = [2 2 2; 2 2 2]
c =
2 2 2
2 2 2
54

>> w = ones(1,3)
w =
1 1 1
>> w = zeros(1, 3)
w =
0 0 0
55

>> w = rand(1, 3)
w =
0.768905486447251 0.775916317864811 0.497250740474899
>> w = rand(1, 3)
w =
0.539191825825911 0.914910175605320 0.813863640693141
56

>> w = randn(1, 3)
w =
-0.336876422305242 0.674313193754158 -2.383367379142681
>> w = randn(1, 3)
w =
-0.301238622307625 2.049211208430472 -1.275134004389243
57

아래와같은방법으로수식으로1만개의열벡터를만들고그래프를출력할수
있다.
>> w = -6 + sqrt(10)*(randn(1, 10000));
>> hist(w)
58

50개의막대그래프로보면아래와같다.
>> hist(w, 50)
59

아래와같은방법으로단위행렬I를생성할수있다.
>> I = eye(4)
I =
Diagonal Matrix
1 0 0 0
0 1 0 0
0 0 1 0
0 0 0 1
60

도움말검색
>> help eye
61

행렬크기계산
>> A = [1 2; 3 4; 5 6]
A =
1 2
3 4
5 6
>> size(A)
ans =
3 2
>> size(A, 1) % 행 크기
ans = 3
>> size(A, 2) % 열 크기
ans = 2
63

리눅스명령어인식
>> pwd
>> ls
64

feature읽어오기
>> load feature.dat
65

현재할당된변수들보기
>> who
66

변수삭제
>> clear A % 기존에 할당된 A벡터를 지울때
>> clear % 전체 변수 삭제
67

벡터크기계산
>> size(A, 1)
ans = 3
>> size(A, 2)
ans = 2
68

변수파일로저장하기
>> save test.txt subY; % 파일명이 test.txt, 확장자는 dat나 txt중 취사선
69

행렬일부element지정
>> A = [1 2; 3 4];
>>
>> A(2,1)
ans = 3
>> A(2,:) % :은 행 혹은 열 전체를 지칭한다.
ans =
3 4
70

>> A = [1 2; 3 4; 5 6]
A =
1 2
3 4
5 6
>> A([1 3], :) % 1행과 3행의 모든 열만 지칭한다.
ans =
1 2
5 6
71

>> A = [ 1 2; 3 4; 5 6]
A =
1 2
3 4
5 6
72

모든행특정열에값할당
>> A(:, 2) = [7 8 9] % 모든행의 2번째 열에 7 8 9를 할당한다.
A =
1 7
3 8
5 9
73

행렬Append
>> A = [A, [100;101;102]]; % 바로 위 상태에서 열을 Append한다.
>> A
A =
1 7 100
3 8 101
5 9 102
74

열벡터로만들기
>> A(:) % 위 벡터를 열벡터로 만들어 버린다.
ans =
1
3
5
7
8
9
100
101
102
75

행렬이어붙이기
>> A = [1 2; 3 4]
A =
1 2
3 4
>> B = [5 6; 7 8]
B =
5 6
7 8
76

>> C = [A B] % 열로 이어 붙이기
C =
1 2 5 6
3 4 7 8
>> C = [A ; B] % 행으로 이어 붙이기
C =
1 2
3 4
5 6
7 8
77

행렬곱셈
>> A = [1 2; 3 4 ; 5 6]
A =
1 2
3 4
5 6
79

>> B = [11 12; 13 14; 15 16]
B =
11 12
13 14
15 16
>> C = [1 1; 2 2]
C =
1 1
2 2
80

>> A * C
ans =
5 5
11 11
17 17
>> A .*B % 기존의 행렬 곱셈이 아니라 Aij값을 Bij값에 각각 곱함
ans =
11 24
39 56
75 96
81

>> A .^ 2 % A행렬을 제곱함
ans =
1 4
9 16
25 36
>> V
82

행렬나눗셈
V =
1
2
3
>> 1 ./ V % 1/1, 1/2, 1/3으로 계산된다.
ans =
1.00000
0.50000
0.33333
83

함수적용
>> log(V)
ans =
0.00000
0.69315
1.09861
>> exp(V)
ans =
2.7183
7.3891
20.0855
84

>> V
V =
1
2
3
>> abs(V)
ans =
1
2
3
85

>> max(V)
ans = 3
>> V = [1.0 1.5 2.0]
V =
1.0000 1.5000 2.0000
>> sum(V)
ans = 4.5000
86

>> prod(V)
ans = 3
>> floor(V)
ans =
1 1 2
>> ceil(V)
ans =
1 2 2
87

행렬변환
>> A
A =
1 2
3 4
5 6
>> A'
ans =
1 3 5
2 4 6
88

Boolean조건식
>> V < 3
ans =
1
1
0
>> find(V < 3) % 1번째 2번째 인덱스가 V중에서 3보자 작다는 것을 찾아냄
ans =
1
2
89

magic행렬
>> A = magic(3)
A =
8 1 6
3 5 7
4 9 2
90

>> help magic
'magic' is a function from the file /usr/share/octave/4.0.0/m/s
-- Function File: magic (N)
Create an N-by-N magic square.
A magic square is an arrangement of the integers '1:n^2' s
the row sums, column sums, and diagonal sums are all equal
same value.
Note: N must be greater than 2 for the magic square to exi
Additional help for built-in functions and operators is
available in the online version of the manual. Use the command
'doc <topic>' to search the manual index.
Help and information about Octave is also available on the WWW
at http://www.octave.org and via the help@octave.org
mailing list.
91

단위행렬I연산
>> A
A =
8 1 6
3 5 7
4 9 2
>> I = eye(3)
I =
Diagonal Matrix
1 0 0
0 1 0
0 0 1
92

>> A * I
ans =
8 1 6
3 5 7
4 9 2
>> A .* I
ans =
8 0 0
0 5 0
0 0 2
93

행렬회전
>> eye(3)
ans =
Diagonal Matrix
1 0 0
0 1 0
0 0 1
>> flipud(eye(3))
ans =
Permutation Matrix
0 0 1
0 1 0
1 0 0
94

역행렬
>> A = magic(3)
A =
8 1 6
3 5 7
4 9 2
>> pinv(A)
ans =
0.147222 -0.144444 0.063889
-0.061111 0.022222 0.105556
-0.019444 0.188889 -0.102778
95

>> A * pinv(A)
ans =
1.0000e+00 -1.2157e-14 6.3560e-15
5.5511e-17 1.0000e+00 -1.5266e-16
-5.9813e-15 1.2268e-14 1.0000e+00
96

PlottingData
이챕터에서는그래프를그리는방법에대해문법및기능설명을한다.따로어
려울것은없고필요할때찾아서써보는것도방법이다.
97

sin함수그리기
>> t=[0:0.01:0.98];
>> y1 = sin(2*pi*4*t);
>> plot(t,y1);
98

>> y2=cos(2*pi*4*t);
>> plot(t,y2);
99

>> plot(t,y1); % 그래프 겹쳐서 2개 그리기
>> hold on
>> plot(t,y2, 'r'); % 2번재 그래프는 빨간색 표시
100

x,y축레이블붙이기
>> xlabel('xlabel');
>> ylabel('ylabel');
101

범례붙이기
>> legend('sin', 'cos');
102

제목붙이기
>> title('title');
103

그래프저장
>> print -dpng 'myplot.png';
104

그래프2개의창으로띄우기
>> figure(1);plot(t,y1);
>> figure(2);plot(t,y2);
105

1개의창에서그래프2개띄우기
>> subplot(1,2,1); % 1*2 그리드를 만들어 1번째 그리드에 접근함
>> t=[0:0.01:0.98];
>> y1 = sin(2*pi*4*t);
>> plot(t,y1); % 1번째 그리드에 그림
>> subplot(1,2,2); % 1*2 그리드를 만들어 2번째 그리드에 접근함
>> y2=cos(2*pi*4*t);
106

>> plot(t,y2); % 2번째 그리드에 그림
107

x축좌표범위변경
>> axis([0.5 1 -1 1]) % 위의 예제에서 설명하는 것이라 2번째 그리드만 좌표가
108

행렬시각화하기
>> A = magic(5)
A =
17 24 1 8 15
23 5 7 14 16
4 6 13 20 22
10 12 19 21 3
11 18 25 2 9
109

회색행렬만들기
행렬의값에따라회색계열의색깔농도로값을시각화하여나타낸다.
>> imagesc(A), colorbar, colormap gray;
111

15*15행렬시각화
>> imagesc(magic(15))
112

ControlStatements;for,while,if,Statements
113

프로그래밍을하는사람입장에서는이부분은어려울것이전혀없다.
for루프
>> v=zeros(10,1)
v =
0
0
0
0
0
0
0
0
0
0
114

>> for i=1:10, v(i) = 2^i;end;
>> v
v =
2
4
8
16
32
64
128
256
512
1024
115

while루프
>> i = 1; while i <= 5,
> v(i) = 100;
> i = i + 1;
> end;
>> v
v =
100
100
100
100
100
64
128
256
512
1024
116

while에break문쓰기
>> i = 1;
>> while true,
> v(i) = 999;
> i = i + 1;
> if i == 6,
> break;
> end;
> end;
>> v
v =
999
999
999
999
999
64
128
256
512
1024
117

함수만들기
Octave가실행되는디렉토리에"hi.m"이라는파일명으로아래내용넣기
function y = hi(x)
y = x ^ 2
>> hi(2) % hi.m파일이 있는 경로에서 함수를 실행하면 동작한다.
y = 4
ans = 4
118

옥타브탐색경로추가
아래와같은방법으로현재디렉토리에함수가없더라도옥타브가탐색하는디
렉토리경로를추가하여탐색이일어나게할수있다.
>> addpath('경로')
119

리턴이2개인함수
function [y1, y2] = doubleargs(x)
y1 = x^2;
y2 = x^3;
>> [a, b] = doubleargs(3);
>> a
a = 9
>> b
b = 27
120

비용함수구현해보기
costFunctionJ.m을아래의내용으로만든다.
function J = costFunctionJ(X, y, theta)
m = size(X,1); % 훈련할 데이터 수
predictions = X * theta; % m개 학습예제의 h(x)들 집합, 논리적으로는 J함수
sqrErrors = (predictions - y).^2;
121

J = 1 / (2*m) * sum(sqrErrors);
>> X = [1 1; 1 2; 1 3]
X =
1 1
1 2
1 3
>> Y = [1; 2; 3]
Y =
1
2
3
122

>> theta = [0;1];
>> j = costFunctionJ(X,Y,theta)
j = 0
>> theta = [0;0];
>> j = costFunctionJ(X,Y,theta)
j = 2.3333
>> (1^2 + 2^2 + 3^2) / (2 * 3)
ans = 2.3333
123

Vectorization
해당챕터의핵심은일반프로그래밍언어에서for루프로표현하는수식이벡
터계산으로표현시어떻게표현되는지를알려준다.또한벡터표현이forloop
식표현에비해수식이간결해져편리하다는점을알려준다.
124

�ݺ�ߣ

Coursera Machine Learning으로 기계학습 배우기 : week2

More Related Content

Coursera Machine Learning으로 기계학습 배우기 : week2