easy363 님의 블로그

대각화 가능 조건 정리(언제 행렬은 대각화 가능한가?)앞에서 살펴본 것처럼, 행렬 (A)가 대각화 가능(diagonalizable) 하려면서로 선형 독립인 (n)개의 고유벡터를 얻을 수 있어야 한다.그렇다면 자연스럽게 다음 질문이 생긴다.어떤 경우에 (n)개의 선형 독립인 고유벡터를 얻을 수 있을까?1. 고유값은 어떻게 결정되는가?고유값은 다음 특성방정식(characteristic equation) 을 풀어서 얻는다.행렬 A가 n x n 행렬이라면,위 식은 항상 λ에 대한 n차 다항식따라서 이론적으로 최대 n개의 고유값을 가질 수 있다2. 실수 고유값과 중근의 문제현실적으로는 몇 가지 경우가 있다.(1) 실수 고유값의 개수다항식의 해는 복소수를 포함할 수 있다하지만 머신러닝과 일반적인 선형대수에서는 대부..

1. Eigendecomposition이란?행렬 (A)가 대각화 가능하다고 가정하자.즉, 선형 독립인 (n)개의 고유벡터를 가지는 경우이다.대각화 식은 다음과 같았다.이 식의 양변에 각각 V와 V^(-1)를 곱하면 다음과 같은 식을 얻을 수 있다.이와 같이 원래의 행렬 (A) 를 고유벡터 행렬 (V), 고유값 대각행렬 (D), 그리고 (V^{-1})의 곱으로 표현하는 것을 행렬 (A)의 고유값 분해(Eigendecomposition) 라고 한다.2. 고유값 분해와 선형변환의 관점선형변환을 다시 떠올려 보자.행렬 A가 고유값 분해를 가진다면,로 표현할 수 있다.즉, 하나의 선형변환이 세 단계의 변환으로 분해된다.이제 이 과정을 단계별로 해석해보자.3. Change of Basis (기저 변환)첫 번째 단계..

1. 대각행렬(Diagonal Matrix)대각행렬이란 대각선 성분을 제외한 모든 값이 0인 정사각행렬을 말한다.예를 들어 다음과 같은 형태가 대각행렬이다.반면, 대각선 이외의 위치에 값이 존재하면 대각행렬이 아니다.2. 대각화(Diagonalization)란?대각화란 주어진 정사각행렬 A 를 어떤 변환을 통해 대각행렬 D로 표현하는 것이다.수식으로는 다음과 같이 정의된다.또는 동치로,여기서 중요한 점은 다음과 같다.V는 정사각행렬이어야 한다.V^(-1)가 존재해야 하므로, 가역행렬이어야 한다.따라서 모든 행렬이 대각화 가능한 것은 아니다.대각화가 가능한 행렬을 diagonalizable 하다고 한다.3. 행렬 V와 D의 의미행렬 V를 열벡터 기준으로 보면 다음과 같다.대각행렬 (D)는 다음과 같은 형태..

1. 고유값 λ=−3에 대한 고유벡터고유벡터는 다음 방정식을 만족해야 한다.λ = -3을 대입하면,이를 풀면 해는 다음과 같다.> 따라서 λ = -3은 고유값이며, 이에 대응하는 고유공간(Eigenspace) 은으로 표현되는 1차원 부분공간이다.2. 특성방정식(Characteristic Equation)그렇다면 고유값은 어떻게 체계적으로 찾을 수 있을까?고유값 λ는 다음 방정식이 비자명해(non-zero solution) 를 가질 때 존재한다.(A−λI)x=0이때 중요한 사실은 다음과 같다.만약 (A - \lambda I)가 invertible 하다면→ 해는 (x = 0) 하나뿐고유벡터는 0이 아닌 벡터여야 하므로→ invertible이면 안 된다즉,이 식을 특성방정식(Characteristic Equ..

영공간(Null Space)과 직교 여공간(Orthogonal Complement)선형대수에서 행렬이 만들어내는 공간을 이해하는 것은 매우 중요하다.이번 글에서는 그중에서도 **영공간(Null Space)**과 **직교 여공간(Orthogonal Complement)**의 개념과 관계를 정리해본다.1. 영공간(Null Space)의 정의행렬에 대해 다음 Ax = 0 방정식을 생각해보자.이 식을 만족하는 모든 벡터 x의 집합을 행렬 A의 영공간(Null Space) 이라고 하며, 다음과 같이 표기한다.0벡터는 항상 포함된다경우에 따라 0이 아닌 벡터도 포함될 수 있다2. 행벡터 관점에서 본 Null Space행렬 A를 행벡터 기준으로 표현하면 다음과 같다.이때, Ax = 0은 다음 조건과 완전히 동일하다...

고유값(Eigenvalue)과 고유벡터(Eigenvector) 정리선형대수에서 고유값과 고유벡터는 행렬이 벡터를 어떻게 변환하는지를 가장 잘 설명해주는 개념이다.특히 머신러닝, 데이터 분석, 컴퓨터 그래픽스 등 IT 전공 전반에서 매우 자주 등장한다.1. 고유값과 고유벡터의 정의정사각 행렬에 대해, 0이 아닌 벡터 x∈Rn가 다음 식을 만족하면,Ax=λxλ : 고유값 (Eigenvalue)x: λ 에 대응하는 고유벡터 (Eigenvector)라고 한다.즉, 행렬 A를 벡터 x에 적용했을 때방향은 그대로 유지되고, 크기만 λ 배로 변하면그 벡터 x는 고유벡터이다.⚠️ 고유벡터는 반드시 0이 아닌 벡터여야 한다.(0벡터는 어떤 행렬을 곱해도 0이 되어 의미가 없기 때문)2. 선형변환 관점에서의 이해행렬 A는..

Gram–Schmidt Orthogonalization & QR Factorization 정리1. 왜 직교화(Orthogonalization)가 필요한가?지금까지의 수업을 통해 알 수 있었던 중요한 사실은 다음과 같다.추출된 feature들이 서로 수직을 이루지 않으면서로 중복된 정보를 포함하게 된다.즉,feature들이 선형 독립이더라도방향이 유사하면 (각도가 작으면)해석이 어렵고계수가 불안정해지며모델 성능이 민감해진다따라서 실무나 이론 모두에서 linearly independent한 feature들을 orthogonal하게 만드는 후처리 과정이 필요하다.이 과정을 Gram–Schmidt Orthogonalization (그람–슈미트 직교화)라고 한다.2. Gram–Schmidt 직교화란?정의Gram–..

Orthogonal Projection Ⅱ— 투영 변환과 행렬 표현의 관점1. Orthogonal Projection은 선형변환이다부분공간 ( W \subset \mathbb{R}^n )에 대해정규직교 기저(Orthonormal basis) {u1​,u2​}가 주어졌다고 하자.이때 임의의 벡터 b 를 W 로 직교 투영하는 변환은 다음과 같이 정의된다.1.1 투영 공식 (벡터 관점)의미:b를 각 기저 방향으로 독립적으로 투영그 결과를 합하여 최종 투영 벡터를 얻는다1.2 행렬 형태로의 전개위 식을 행렬 연산으로 차근차근 바꾸어보면,여기서기저 벡터들을 열로 가지는 행렬 U=[u1​u2​]를 정의하면,따라서 최종적으로,1.3 핵심 결론Orthogonal Projection은 선형변환투영 행렬은이 행렬은:대칭 ..

1. Orthogonal Projection의 개념1.1 Projection(사영)이란?Projection(사영)은 어떤 대상에 빛을 비췄을 때 생기는 그림자와 같은 개념으로 이해할 수 있다.그중 Orthogonal Projection(직교 사영)은 대상에 수직으로 투영하는 것을 의미한다.이 직교 투영은 Least Squares Problem(최소제곱 문제)에서 우리가 구했던 해와 정확히 같은 개념이다.1.2 Least Squares와 Orthogonal Projection행렬 ( A )와 벡터 ( b )가 주어졌을 때, 최소제곱 문제는 다음을 만족하는 (hat{x})를 찾는 것이다.이때 예측값은여기서 중요한 해석은 다음과 같다.(hat{b})는 벡터b를 col(A)(A의 열공간)에 직교 투영한 결과즉,..

정규방정식 (Normal Equation)1. 최소제곱 문제 다시 정리우리가 풀고자 하는 문제는 다음과 같다.여기서(A): (m \times n) 행렬(b): (m \times 1) 벡터(m > n): 과잉결정 시스템 (Over-determined System)이 경우,Ax=b를 정확히 만족하는 해는 일반적으로 존재하지 않는다.따라서 목표는 (Ax)가 (b)에 가장 가까워지도록 하는 (x) 를 찾는 것이다.즉,2. 정규방정식의 등장앞선 기하학적 해석에서 우리는 다음 사실을 확인했다.최소제곱해에서 오차 벡터 (b - A\hat{x})는 A의 열공간(Column Space)에 직교한다.이를 수식으로 표현하면,이를 정리하면,이 식을 정규방정식 (Normal Equation) 이라고 한다.3. 새로운 선형 시스..