ݺߣ

ݺߣShare a Scribd company logo

선형대수 11강 벡터 투영과 최소제곱법

•Download as PPTX, PDF•
•
AHRA CHO
AHRA CHO

한양대 이상화 교수님 <선형대수> KOCW 11강 벡터 투영과 최소제곱법 강의 정리 노트

1 of 6
Downloaded 32 times
Linear Algebra 11. 벡터투영과 최소제곱법 한양대 이상화 교수님 <선형대수> http://www.kocw.net/home/search/kemView.do?kemId=977757
M x N 행렬과 방정식 A x A A x x b b b = = = (1) M = N 일 때 - 방정식의 개수 = 미지수의 개수 - 가우스 소거법으로 “LDU 분할” - 𝐴가 non-singular 일 때 유일한 해 존재 (2) M < N 일 때 - 방정식의 개수 < 미지수의 개수 - 가우스 소거법으로 “Row Reduced Form” - 해가 무수히 많이 존재한다면, free/pivot variable로 관계식 표현 (3) M > N 일 때 - 방정식의 개수 > 미지수의 개수 - 유일한 해가 존재할 수 있지만, 해가 존재하지 않을 가능성이 높음 - 해가 존재하지 않을 때 최적의 해를 찾아야 함
최적의 해 찾기 • 최적의 해는 어떻게 찾을까?  Minimizing Errors 𝜽 C(A) b p Error  Ax-b Error 𝐴𝑥 − 𝑏 2 = 𝐸2 2𝑥 = 𝑏1 3𝑥 = 𝑏2 4𝑥 = 𝑏3 2 3 4 𝑥 = 𝑏1 𝑏2 𝑏3 * 𝑏 ∈ 𝐶(𝐴) 이라면 𝑏1 𝑏2 𝑏3 = 2 3 4 ∗ 𝑠𝑐𝑎𝑙𝑎𝑟 이고, 𝑥 = 𝑏1 2 = 𝑏2 3 = 𝑏3 4 하나 존재! 𝒃 ∉ 𝑪(𝑨) 일 때, error를 최소화하는 𝒙를 찾아야 함 𝐸2 = (2𝑥 − 𝑏1)2 +(3𝑥 − 𝑏2)2 +(4𝑥 − 𝑏3)2 𝑑𝐸2 𝑑𝑥 = 0  𝑥 = 2𝑏1+3𝑏2+4𝑏3 22+32+42 = 𝑎 𝑇 𝑏 𝑎 𝑇 𝑎 C(A) : a line through (2, 3, 4) b p
• 𝒃 − 𝑨 𝒙 ⊥ 𝑪 𝑨  Since column space is perpendicular to left nullspace, 𝑏 − 𝐴 𝑥 is in the left nullspace. 𝐴 𝑇 𝑏 − 𝐴 𝑥 = 0  𝑨 𝑻 𝑨 𝒙 = 𝑨 𝑻 𝒃 • The error vector must be orthogonal to each column vector of A. 𝑎𝑖 𝑇 𝑏 − 𝐴 𝑥 = 0  𝑎1 𝑇 𝑎2 𝑇 … 𝑎 𝑛 𝑇 𝑏 − 𝐴 𝑥 = 0 𝐴 𝑇 𝑏 − 𝐴 𝑥 = 0  𝑨 𝑻 𝑨 𝒙 = 𝑨 𝑻 𝒃 • 𝑨 𝑻 𝑨 𝒙 = 𝑨 𝑻 𝒃 에서 𝑨 𝑻 𝑨의 역행렬이 존재한다면, 𝑥 = (𝐴 𝑇 𝐴)−1 𝐴 𝑇 𝑏 𝑝 = 𝐴 𝑥 = 𝐴(𝐴 𝑇 𝐴)−1 𝐴 𝑇 𝑏 Least Square Problem origin 𝑨 𝒙 𝒃 𝒆 𝑪(𝑨)
𝐴 = 1 2 1 3 0 0 , 𝑏 = 4 5 6 𝐶(𝐴)는 𝑥 − 𝑦 평면 𝐴 𝑇 𝐴 = 2 5 5 13 𝑥 = (𝐴 𝑇 𝐴)−1 𝐴 𝑇 𝑏 = 13 −5 −5 2 1 1 0 2 3 0 4 5 6 = 2 1 𝑝 = 𝐴 𝑥 = 1 2 1 3 0 0 2 1 = 4 5 0 Least Square Problem 𝑏 = (4, 5, 6) 𝑝 = (4, 5, 0)
• 회귀 분석 문제 • 일직선에 있지 않은 (같은 벡터 공간에 있지 않은) 점들을 가장 근사한(error가 작은) 직선에 투영하기 Least Square Problem 𝑦 = 𝐷𝑥 + 𝐶  𝐶와 𝐷가 미지수 𝒃 𝟏 𝒃 𝟐 𝒃 𝟑 𝒃 𝟒 𝒃 𝟓 𝒃 𝟔 𝒃 𝟕 1 𝑡1 1 𝑡2 ⋮ ⋮ 1 𝑡 𝑛 𝐶 𝐷 = 𝑏1 𝑏2 ⋮ 𝑏 𝑛  𝐴𝑥 = 𝑏 형태 𝑥 = 𝐶 𝐷

More Related Content

선형대수 11강 벡터 투영과 최소제곱법

  • 1. Linear Algebra 11. 벡터투영과 최소제곱법 한양대 이상화 교수님 <선형대수> http://www.kocw.net/home/search/kemView.do?kemId=977757
  • 2. M x N 행렬과 방정식 A x A A x x b b b = = = (1) M = N 일 때 - 방정식의 개수 = 미지수의 개수 - 가우스 소거법으로 “LDU 분할” - 𝐴가 non-singular 일 때 유일한 해 존재 (2) M < N 일 때 - 방정식의 개수 < 미지수의 개수 - 가우스 소거법으로 “Row Reduced Form” - 해가 무수히 많이 존재한다면, free/pivot variable로 관계식 표현 (3) M > N 일 때 - 방정식의 개수 > 미지수의 개수 - 유일한 해가 존재할 수 있지만, 해가 존재하지 않을 가능성이 높음 - 해가 존재하지 않을 때 최적의 해를 찾아야 함
  • 3. 최적의 해 찾기 • 최적의 해는 어떻게 찾을까?  Minimizing Errors 𝜽 C(A) b p Error  Ax-b Error 𝐴𝑥 − 𝑏 2 = 𝐸2 2𝑥 = 𝑏1 3𝑥 = 𝑏2 4𝑥 = 𝑏3 2 3 4 𝑥 = 𝑏1 𝑏2 𝑏3 * 𝑏 ∈ 𝐶(𝐴) 이라면 𝑏1 𝑏2 𝑏3 = 2 3 4 ∗ 𝑠𝑐𝑎𝑙𝑎𝑟 이고, 𝑥 = 𝑏1 2 = 𝑏2 3 = 𝑏3 4 하나 존재! 𝒃 ∉ 𝑪(𝑨) 일 때, error를 최소화하는 𝒙를 찾아야 함 𝐸2 = (2𝑥 − 𝑏1)2 +(3𝑥 − 𝑏2)2 +(4𝑥 − 𝑏3)2 𝑑𝐸2 𝑑𝑥 = 0  𝑥 = 2𝑏1+3𝑏2+4𝑏3 22+32+42 = 𝑎 𝑇 𝑏 𝑎 𝑇 𝑎 C(A) : a line through (2, 3, 4) b p
  • 4. • 𝒃 − 𝑨 𝒙 ⊥ 𝑪 𝑨  Since column space is perpendicular to left nullspace, 𝑏 − 𝐴 𝑥 is in the left nullspace. 𝐴 𝑇 𝑏 − 𝐴 𝑥 = 0  𝑨 𝑻 𝑨 𝒙 = 𝑨 𝑻 𝒃 • The error vector must be orthogonal to each column vector of A. 𝑎𝑖 𝑇 𝑏 − 𝐴 𝑥 = 0  𝑎1 𝑇 𝑎2 𝑇 … 𝑎 𝑛 𝑇 𝑏 − 𝐴 𝑥 = 0 𝐴 𝑇 𝑏 − 𝐴 𝑥 = 0  𝑨 𝑻 𝑨 𝒙 = 𝑨 𝑻 𝒃 • 𝑨 𝑻 𝑨 𝒙 = 𝑨 𝑻 𝒃 에서 𝑨 𝑻 𝑨의 역행렬이 존재한다면, 𝑥 = (𝐴 𝑇 𝐴)−1 𝐴 𝑇 𝑏 𝑝 = 𝐴 𝑥 = 𝐴(𝐴 𝑇 𝐴)−1 𝐴 𝑇 𝑏 Least Square Problem origin 𝑨 𝒙 𝒃 𝒆 𝑪(𝑨)
  • 5. 𝐴 = 1 2 1 3 0 0 , 𝑏 = 4 5 6 𝐶(𝐴)는 𝑥 − 𝑦 평면 𝐴 𝑇 𝐴 = 2 5 5 13 𝑥 = (𝐴 𝑇 𝐴)−1 𝐴 𝑇 𝑏 = 13 −5 −5 2 1 1 0 2 3 0 4 5 6 = 2 1 𝑝 = 𝐴 𝑥 = 1 2 1 3 0 0 2 1 = 4 5 0 Least Square Problem 𝑏 = (4, 5, 6) 𝑝 = (4, 5, 0)
  • 6. • 회귀 분석 문제 • 일직선에 있지 않은 (같은 벡터 공간에 있지 않은) 점들을 가장 근사한(error가 작은) 직선에 투영하기 Least Square Problem 𝑦 = 𝐷𝑥 + 𝐶  𝐶와 𝐷가 미지수 𝒃 𝟏 𝒃 𝟐 𝒃 𝟑 𝒃 𝟒 𝒃 𝟓 𝒃 𝟔 𝒃 𝟕 1 𝑡1 1 𝑡2 ⋮ ⋮ 1 𝑡 𝑛 𝐶 𝐷 = 𝑏1 𝑏2 ⋮ 𝑏 𝑛  𝐴𝑥 = 𝑏 형태 𝑥 = 𝐶 𝐷