[부스트코스트/인공지능을 위한 선형대수]3. Least Square - Orthogonal Projection 2

Orthogonal Projection Ⅱ— 투영 변환과 행렬 표현의 관점

1. Orthogonal Projection은 선형변환이다

부분공간 ( W \subset \mathbb{R}^n )에 대해
정규직교 기저(Orthonormal basis) {u1​,u2​}가 주어졌다고 하자.
이때 임의의 벡터 b 를 W 로 직교 투영하는 변환은 다음과 같이 정의된다.

---

1.1 투영 공식 (벡터 관점)

의미:

• b를 각 기저 방향으로 독립적으로 투영
• 그 결과를 합하여 최종 투영 벡터를 얻는다

---

1.2 행렬 형태로의 전개

위 식을 행렬 연산으로 차근차근 바꾸어보면,

여기서
기저 벡터들을 열로 가지는 행렬 U=[u1​u2​]를 정의하면,

따라서 최종적으로,

---

1.3 핵심 결론

• Orthogonal Projection은 선형변환
• 투영 행렬은

• 이 행렬은:
  • 대칭 행렬 (( P^T = P ))
  • 멱등 행렬 (( P^2 = P ))

---

2. 일반적인 Projection 공식과의 연결

이제 기존에 배웠던 일반적인 최소제곱 투영 공식과 연결해보자.

---

2.1 일반적인 투영 공식

행렬 ( A )가 주어졌을 때,

---

2.2 정규직교 열을 가진 경우

만약

이고, ( U )의 열들이 정규직교라면,

이 성립한다.

따라서,

---

2.3 중요한 의미

• 정규직교 기저가 있으면
  • ( (A^TA)^{-1} ) 같은 복잡한 계산이 사라진다
• 투영 행렬은 단순히

로 표현된다

> 이것이 QR 분해가 계산적으로 중요한 이유 중 하나이다.

---

3. Projection과 Transpose 연산의 직관적 이해

강의에서는 projection과 transpose 연산이 결합된 다양한 예시들이 등장한다.
이 예시들은 바로 AI 모델에 쓰이는 공식은 아니지만, 딥러닝과 선형대수 연산을 이해하는 데 매우 중요한 직관을 제공한다.

 

---

4. 정규화와 Orthonormal Basis

4.1 단위벡터로의 정규화

투영 공식

를 사용하려면, ( u )는 단위벡터여야 한다.

벡터u = [1, 2, 3]의 길이는,

따라서 단위벡터는,

---

4.2 정규화의 의미

• 각 방향을 순수한 방향 정보로 분리
• projection 결과의 계수는
  • 해당 방향으로의 순수한 기여도
• 이는 AI 모델에서 feature 방향성 해석과도 연결된다

---

5. 정리

• Orthogonal Projection은 선형변환이며 행렬로 표현 가능
• 정규직교 기저가 있으면 투영 행렬은 단순히 ( UU^T )
• Transpose 연산은 projection에서 내적을 구현하는 핵심 도구
• 정규화는 방향성과 크기를 분리하여 해석 가능하게 만든다
• 이러한 개념들은 이후:
  • QR 분해
  • Least Squares
  • 딥러닝의 선형 연산 이해로 자연스럽게 확장된다