[부스트코스트/인공지능을 위한 선형대수]3.Least Square - Least Squares Problem 소개

최소제곱법(Least Squares Method) 정리

1. 최소제곱법이 필요한 이유

과잉결정 선형 시스템 (Over-determined System)

선형방정식에서

• 방정식의 개수 > 미지수의 개수 인 경우를 과잉결정 시스템이라고 한다.
• 즉, feature(변수)보다 데이터(방정식)가 더 많은 상황이다.

예를 들어,

• 변수 3개로 100개의 방정식을 만족해야 하는 경우
  → 제약 조건이 너무 많아 모든 방정식을 동시에 만족하는 정확한 해가 존재하지 않는 경우가 대부분이다.

이를 행렬 형태로 쓰면 Ax=b과 같다.

 

이때,

• (A)는 많은 행(row)을 가진 행렬
• (b)는 상수 벡터

정확한 해가 존재하려면
(b)가 행렬 (A)의 열벡터들이 만드는 공간(Column Space) 안에 있어야 한다.
하지만 과잉결정 시스템에서는 이 조건을 만족하기가 매우 어렵다.

---

2. 정확한 해가 없을 때, 왜 근사해를 구하는가?

현실 문제에서는 완벽하게 맞는 모델보다 최대한 잘 맞는 모델이 필요하다.

예시:

• 사람의 키, 몸무게, 흡연 여부로 기대 수명을 예측
• 모든 데이터를 완벽히 설명하는 해는 없지만,
  전체적으로 가장 오차가 작은 모델은 만들 수 있다.

그래서 등장하는 개념이 최소제곱법(Least Squares) 이다.

---

3. “가장 좋은 근사”의 기준

근사해는 여러 개 존재할 수 있다.
그렇다면 어떤 근사해가 가장 좋은가?

-> 기준: 오차의 제곱합이 최소인 해

• 각 방정식에서 발생하는 오차를 모두 제곱
• 이를 합산한 값이 가장 작은 해를 선택

이 기준을 따르는 해를 최소제곱해(Least Squares Solution) 라고 한다.

---

선형대수 기초 개념 정리

최소제곱법을 이해하려면 아래 개념들이 필요하다.

---

4. 내적 (Inner Product)

두 벡터 u,v∈ Rn에 대해

• (u^T): 전치(transpose)
• 결과는 스칼라 값

즉, u⋅v=u1​v1​+u2​v2​+⋯+un​vn​

내적의 성질

• 대칭성: u⋅v=v⋅u
• 분배법칙: (u+v)⋅w=u⋅w+v⋅w
• 스칼라 결합: (cu)⋅v=c(u⋅v)
• 양의 성질:
  u⋅u≥0, 그리고 u⋅u=0  ⟺  u=0

내적은 선형 연산이다.

---

5. 벡터 노름 (Vector Norm)

벡터 v = (v1​,v2​,…,vn​) 의 길이(노름)는

또한,

기하학적 의미

• R2에서 | | v | | 는 원점에서 점 (v)까지의 거리
• 피타고라스 정리에 기반한 개념

스칼라 배

| |cv| | = |c| | | v| |

---

6. 단위 벡터 (Unit Vector)

길이가 1인 벡터를 단위 벡터라고 한다.

정규화(normalization):

• 방향은 그대로
• 크기만 1로 조정

---

7. 벡터 사이의 거리 (Distance)

두 벡터 (u, v) 사이의 거리는

예시:

두 점을 잇는 선분의 길이와 동일한 의미

---

8. 내적과 각도

• 내적은 길이 + 각도 정보를 함께 담고 있음

직교 벡터 (Orthogonal Vector)

즉, 내적이 0이면 두 벡터는 서로 수직이다.

---

최소제곱 문제의 수학적 정의

9. Least Squares Problem

과잉결정 시스템에서 목표는 다음과 같다.

의미:

• (Ax): 모델의 예측값
• (b): 실제 데이터
• (|b - Ax|): 전체 오차
• 이 오차를 최소화하는 (x) 를 찾는다.

중요한 사실:

• 어떤 (x)를 선택하더라도 (Ax)는 항상 (A)의 열공간(Column Space) 에 존재
• 따라서 최소제곱 문제는
  -> 벡터 (b)를 (A)의 열공간에 가장 가깝게 투영(projection) 하는 문제로 해석된다.

---

10. 요약

• 과잉결정 시스템에서는 정확한 해가 없는 경우가 많다
• 최소제곱법은 전체 오차 제곱합을 최소화하는 최적의 근사해를 찾는 방법이다
• 이를 위해 내적, 노름, 거리, 직교 개념이 사용된다
• 최소제곱 문제는 기하학적으로 투영 문제로 이해할 수 있다