[부스트코스트/인공지능을 위한 선형대수]3.Least Square - 정규방정식

정규방정식 (Normal Equation)

---

1. 최소제곱 문제 다시 정리

우리가 풀고자 하는 문제는 다음과 같다.

여기서

• (A): (m \times n) 행렬
• (b): (m \times 1) 벡터
• (m > n): 과잉결정 시스템 (Over-determined System)

이 경우,Ax=b를 정확히 만족하는 해는 일반적으로 존재하지 않는다.

따라서 목표는 (Ax)가 (b)에 가장 가까워지도록 하는 (x) 를 찾는 것이다.

즉,

---

2. 정규방정식의 등장

앞선 기하학적 해석에서 우리는 다음 사실을 확인했다.

• 최소제곱해에서 오차 벡터 (b - A\hat{x})는 A의 열공간(Column Space)에 직교한다.

이를 수식으로 표현하면,

이를 정리하면,

이 식을 정규방정식 (Normal Equation) 이라고 한다.

---

3. 새로운 선형 시스템으로 해석하기

정규방정식은 다음과 같은 새로운 선형 시스템으로 볼 수 있다.

Cx=d

여기서,

• (C = A^T A) ( (n \times n) 정방행렬 )
• (d = A^T b)

만약 (C)가 가역(invertible)이라면,

이것이 우리가 흔히 보는 최소제곱해의 공식이다.

---

정규방정식의 또 다른 유도 방법

(미분을 통한 해석)

---

4. 목적 함수 제곱으로 바꾸기

우리는 다음을 최소화하고 있다.

| | b - Ax| |

노름을 최소화하는 것은 제곱을 최소화하는 것과 동일하므로,

로 바꿔서 생각할 수 있다.

---

5. 오차 제곱 전개

이를 전개하면,

여기서,

• (x^T A^T b)와 (b^T A x)는 스칼라이므로 값이 동일

따라서,

---

6. 미분(Gradient) 계산

위 식을 (x)에 대해 미분하고 0으로 둔다.

결과는 다음과 같다.

이를 정리하면,

다시 한 번 정규방정식이 등장한다.

---

7. 해의 형태

만약 (A^T A)가 가역이면,

즉,

• 기하학적 유도
• 미분을 통한 최적화

두 방식 모두 같은 결론에 도달한다.

---

(A^T A)가 가역이 아닐 때는 어떻게 될까?

---

8. 정규방정식에 해가 없는 경우는 있을까?

결론부터 말하면, 정규방정식은 해가 없는 경우가 없다.

직관적인 이유는 다음과 같다.

• 어떤 점 (b)와 어떤 평면(Col A)이 있으면
• 그 평면 위로 내린 수선의 발 (\hat{b}) 는 항상 존재한다

즉,

• 최소제곱 문제는 항상 해를 가진다

---

9. 그럼 언제 문제가 생기는가?

문제가 되는 경우는 다음이다.

• (A^T A)가 가역이 아닐 때

이 경우,

• 정규방정식의 해는 하나가 아니라 무수히 많다

---

10. (A^T A)가 가역이 아닌 조건

반대로,

• A의 열벡터들이 선형의존(linearly dependent) 이면
• (A^T A)는 역행렬이 존재하지 않는다

---

11. 해가 무수히 많다는 의미

이 말의 정확한 의미는 다음과 같다.

• (\hat{b}) (열공간 위의 수선의 발)는 유일(unique) 하다
• 하지만

를 만족하는 (\hat{x})는 여러 개 존재할 수 있다

 

즉,

• 결과 벡터는 하나
• 그 결과를 만드는 계수는 여러 개

---

12. 현실적인 관점에서의 정리

• 실제 데이터 분석에서는
  • feature 차원이 커질수록
  • 열벡터들이 선형독립일 가능성이 높아진다
• 따라서 대부분의 경우
  
  

그래서 정규방정식 기반 해법이 널리 사용된다.

---

13. 요약

• 정규방정식은 최소제곱 문제의 핵심 수식이다
• 기하학적 직교 조건과
  최적화(미분) 관점에서 동일하게 도출된다
• (A^T A)가 가역이면 해는 유일
• 가역이 아니어도 최소제곱해는 항상 존재
• 이 경우 해는 무수히 많다