[부스트코스트/인공지능을 위한 선형대수]3.Least Square - 그람-슈미트 직교화와 QR 분해

Gram–Schmidt Orthogonalization & QR Factorization 정리

1. 왜 직교화(Orthogonalization)가 필요한가?

지금까지의 수업을 통해 알 수 있었던 중요한 사실은 다음과 같다.

추출된 feature들이 서로 수직을 이루지 않으면
서로 중복된 정보를 포함하게 된다.

즉,

• feature들이 선형 독립이더라도
• 방향이 유사하면 (각도가 작으면)
  • 해석이 어렵고
  • 계수가 불안정해지며
  • 모델 성능이 민감해진다

따라서 실무나 이론 모두에서 linearly independent한 feature들을 orthogonal하게 만드는 후처리 과정이 필요하다.

이 과정을 Gram–Schmidt Orthogonalization (그람–슈미트 직교화)라고 한다.

---

2. Gram–Schmidt 직교화란?

정의

Gram–Schmidt Orthogonalization이란,

선형 독립인 벡터 집합을
같은 부분공간을 span하면서
서로 직교하는 벡터 집합으로 변환하는 과정

이다.

---

3. Gram–Schmidt 직교화의 일반적인 절차

선형 독립인 벡터 집합이 다음과 같이 주어졌다고 하자.

Step 1. 첫 번째 벡터

Step 2. 두 번째 벡터

→ (x2)에서 (v1) 방향 성분을 제거

Step 3. 세 번째 벡터

일반화

결과:

은 서로 직교하는 기저(Orthogonal Basis)가 된다.

---

4. Gram–Schmidt 예제 1 (ℝ³)

주어진 벡터

Step 1

Step 2

계산:

결과

---

5. Gram–Schmidt 예제 2 (ℝ⁴)

주어진 벡터

Step 1

Step 2

(계산 단순화를 위해 스케일링)

---

Step 3

•  

계산 결과:

---

최종 직교 기저

---

6. Gram–Schmidt와 QR 분해의 연결

QR 분해란?

행렬 A∈Rm×n의 열들이 선형 독립이면,

로 분해할 수 있다.

---

Q 행렬

• 크기: ( m x n)
• 열벡터들이 정규직교(orthonormal)
• A의 열공간을 span

---

R 행렬

• 크기: ( n x n )
• 상삼각행렬
• 각 원래 벡터를 직교 기저로 표현한 계수

---

계산 과정 요약

1. A의 열벡터에 Gram–Schmidt 적용
2. 정규직교 기저 → Q 구성
3. 계수들로 R 구성
4. 결과적으로 ( A = QR )

---

7. Feature 관점에서의 해석

• 서로 직교하지 않은 feature → 정보 중복
• Gram–Schmidt:
  • feature 간 중복 제거
  • 방향성 분리
• QR 분해:
  • 계산 안정성 향상
  • 최소제곱, 투영, 회귀 해석 단순화

> 결국 Gram–Schmidt는 이론,QR 분해는 계산적으로 구현된 형태라고 볼 수 있다.

---

8. 요약

• Gram–Schmidt는 선형 독립 벡터를 직교 기저로 변환
• 각 단계는 이전 방향 성분을 projection으로 제거
• QR 분해는 Gram–Schmidt의 행렬 표현
• Orthogonal feature는 모델 안정성과 해석력을 높인다