[부스트코스트/인공지능을 위한 선형대수]2.선형시스템 및 선형변환 - 부분공간의 기저와 차원

부분공간(Subspace), 기저(Basis), 차원(Dimension), 랭크(Rank) 한 번에 정리

이번 내용의 핵심은 부분공간 → 기저 → 차원 → 랭크로 이어지는 흐름을 이해하는 것이다.
이 네 개념은 선형대수뿐 아니라, 머신러닝과 인공지능을 이해하는 데도 매우 중요한 기초 개념이다.

---

1. Span과 Subspace (부분공간)

Span이란, 어떤 벡터 집합이 주어졌을 때 그 벡터들을 스칼라 배수하고 더해서 만들 수 있는 모든 벡터들의 집합을 말한다.

span{v1​,v2​,…,vp​}은 a1​v1​+a2​v2​+⋯+ap​vp​과 같은 형태의 모든 벡터를 포함한다.

---

Subspace(부분공간)는 선형결합에 대해 닫혀 있는 벡터 공간의 부분집합이다.

즉, 어떤 집합 (H)가 부분공간이 되려면,

• u1​,u2​∈H
• 임의의 스칼라 c, d

에 대해 cu1​+du2​∈H가 항상 성립해야 한다.

이 말은 곧, “집합 안에 있는 벡터들을 아무렇게나 선형결합해도, 결과는 여전히 그 집합 안에 있다”라는 의미다.

이 성질 때문에 모든 부분공간은 결국 어떤 벡터들의 Span으로 표현할 수 있다.
그래서 Subspace와 Span은 매우 밀접한 개념이다.

---

2. 기저(Basis)

기저(Basis)는 어떤 부분공간을 설명하는 데 필요한 중복 없는 최소한의 벡터 집합이다.

기저는 다음 두 조건을 반드시 만족해야 한다.

1. Span 조건
   → 기저 벡터들의 선형결합으로 해당 부분공간 전체를 만들 수 있어야 한다.
2. 선형 독립 조건
   → 벡터들 사이에 중복(선형 종속)이 없어야 한다.

---

기저는 유일하지 않다

같은 부분공간이라도 기저는 여러 개 존재할 수 있다.
예를 들어, 어떤 평면을 만드는 두 벡터가 있다면,

• 서로 직교한 기저
• 둔각을 이루는 기저
• 스케일이 다른 기저

모두 가능하다.

다만, 기저가 달라지면 벡터를 표현하는 계수(가중치)가 달라질 뿐, 공간 자체는 변하지 않는다.

---

3. 부분공간의 차원(Dimension)

차원(Dimension)은 그 부분공간의 기저 벡터의 개수를 의미한다.

중요한 점은:

• 기저는 여러 개일 수 있지만
• 기저의 개수(차원)는 항상 유일하다

예를 들어,

• 직선 → 차원 1
• 평면 → 차원 2
• 3차원 공간 → 차원 3

---

Standard Basis (표준 기저)

3차원 공간에서 가장 대표적인 기저는 (1,0,0), (0,1,0), (0,0,1)과 같다.

이들을 표준 기저(Standard Basis)라고 한다.

임의의 벡터 (1,2,3)은 1(1,0,0)+2(0,1,0)+3(0,0,1)과 같이 표현할 수 있다.

---

4. Column Space와 Rank (랭크)

열공간(Column Space)이란 행렬의 열벡터들이 만들어내는 부분공간이다.

Col(A)=span{columns of A}

---

Rank(랭크)는 행렬의 열공간의 차원, 즉 선형 독립인 열벡터의 개수를 의미한다.

rank(A)=dim(Col(A))

---

선형 종속과 랭크

만약 어떤 열벡터가
다른 열벡터들의 선형결합으로 표현된다면,

• 그 열은 새로운 방향(정보)을 추가하지 않는다
• 따라서 랭크는 증가하지 않는다

---

5. 머신러닝 관점에서의 해석

머신러닝에서 feature(특성)를 열벡터라고 생각하면,

• feature 수가 많아도
• rank가 작다면

중복된 정보가 많다는 의미가 된다.

이런 중복된 feature들은

• 모델을 복잡하게 만들고
• 과대적합(overfitting)을 유발할 가능성이 커진다.

그래서 실제로는 “feature의 개수보다, 독립적인 정보의 개수(rank)가 더 중요하다”라고 이해할 수 있다.

---

요약

• Subspace: 선형결합에 대해 닫혀 있는 벡터 공간
• Basis: 부분공간을 만드는 최소한의 선형 독립 벡터
• Dimension: 기저 벡터의 개수 (항상 유일)
• Rank: 행렬이 담고 있는 독립적인 정보의 개수