[부스트코스트/인공지능을 위한 선형대수]3.Least Square - Orthogonal Projection 1

1. Orthogonal Projection의 개념

1.1 Projection(사영)이란?

Projection(사영)은 어떤 대상에 빛을 비췄을 때 생기는 그림자와 같은 개념으로 이해할 수 있다.
그중 Orthogonal Projection(직교 사영)은 대상에 수직으로 투영하는 것을 의미한다.

이 직교 투영은 Least Squares Problem(최소제곱 문제)에서 우리가 구했던 해와 정확히 같은 개념이다.

---

1.2 Least Squares와 Orthogonal Projection

행렬 ( A )와 벡터 ( b )가 주어졌을 때, 최소제곱 문제는 다음을 만족하는 (hat{x})를 찾는 것이다.

이때 예측값은

여기서 중요한 해석은 다음과 같다.

• (hat{b})는 벡터b를 col(A)(A의 열공간)에 직교 투영한 결과
• 즉, b와 가장 가까운col(A)위의 벡터
• ( b - hat{b})는 col(A)에 수직

이때 전체 투영을 나타내는 행렬을 Projection Matrix라고 하며,

라고 쓸 수 있다.

---

2. Orthogonal Set과 Orthonormal Set

2.1 Orthogonal Set (직교 집합)

집합에 속한 벡터들이 서로 모두 수직일 때 이를 Orthogonal Set이라고 한다.

이 집합이 직교 집합이려면,

이 성립해야 한다.

• Orthogonal set ⇒ 항상 선형 독립
• 선형 독립 ⇒ Orthogonal인 것은 아님

---

2.2 Orthonormal Set (정규직교 집합)

Orthonormal Set은 Orthogonal Set에 길이가 1이라는 조건이 추가된 개념이다.

즉, 단위벡터로 이루어진 직교 집합이다.

---

2.3 Orthogonal / Orthonormal Basis

어떤 부분공간 W의 기저가 반드시 직교일 필요는 없다.
하지만 Gram–Schmidt 과정을 사용하면,

• 임의의 기저 → Orthogonal basis
• Orthogonal basis → Orthonormal basis

로 변환할 수 있다.

이 과정은 QR Factorization과도 직접적으로 연결된다.

---

3. Orthogonal Projection onto Line (직선에 대한 직교 투영)

3.1 기본 공식

벡터 y를 벡터 u가 span하는 직선 L에 투영하면,

만약 ( u )가 단위벡터라면,

---

3.2 기하학적 의미

• (hat{y})는 직선 위의 점
• ( y - hat{y} )는 직선에 수직
• 즉, ( hat{y} )는 수선의 발

---

4. Orthogonal Projection onto Plane (평면에 대한 직교 투영)

4.1 Orthogonal Basis를 사용하는 경우

평면 ( W )가 두 개의 직교 벡터 ( u1,u2 )로 span될 때,

만약 (u1, u2)가 Orthonormal이면,

---

4.2 핵심 해석

• 투영은 각 직교 기저 방향으로 독립적으로 수행
• 각 방향으로의 투영 결과를 더하면 최종 투영 벡터가 된다
• 이는 고차원 공간에서도 동일하게 확장된다

---

4.3 이미 부분공간에 속한 경우

만약 ( y∈W )라면,

즉, 이미 그 공간에 속해 있으면 투영 결과는 자기 자신이다.

---

5. Orthogonal Projection과 모델 안정성 (키–몸무게 예시)

키와 몸무게로 힘을 예측하는 모델을 생각해보자.

• 키 벡터와 몸무게 벡터의 방향이 비슷하면 (상관관계가 크면)
  • 회귀 계수 값이 커짐
  • 데이터 변화에 민감
  • 모델이 불안정해짐 (과적합)

이것은 벡터들이 거의 같은 방향(선형 의존)에 있기 때문이다.

---

5.1 해결 관점: Projection

• 상관관계가 높은 변수를 제거하거나
• 벡터 간 각도를 벌려 직교에 가깝게 만드는 것이 핵심

이 관점에서:

• Ridge Regression은 변수들을 orthogonal하게 만드는 효과
• Lasso, 정규화 기법은 해의 안정성을 높이는 역할

즉, Orthogonal Projection은 단순한 기하 개념이 아니라, 모델 안정성을 설명하는 핵심 관점이다.

---

6. 요약

• Orthogonal Projection = Least Squares의 기하학적 해석
• Projection Matrix:

• Orthogonal / Orthonormal basis를 사용하면 계산과 해석이 단순해짐
• 고차원에서도 “각 직교 방향으로의 투영의 합”이라는 관점은 동일
• 상관관계가 큰 변수 문제는 직교성 관점에서 이해할 수 있음