Eigen Value & Eigen Vectors

Eigen Value와 Eigen Vector가 무엇을 의미하는지와, 그것을 구하는 방법을 알아보자.

더불어, eigen value& eigen vector와 연관된 여러 연산이나 요소들도 함께 알아보자.

 

 

개념 및 계산법

행렬 A의 eigen value와 eigen vector를 구한다고 했을 때, 두 요소 모두 아래 형태의 행렬과 깊은 연관이 있다.

$$A-\lambda I$$

 

Eigen Value

eigen value는 위 행렬의 determinant가 0이 되도록 하는 람다(λ) 값을 의미한다.

$$det(A-\lambda I) = 0$$

 

Eigen Vector

eigen vector는 각 람다(λ)에 대해, 다음의 식을 만족하는 벡터 x를 의미한다.

$$(A-\lambda I)x = 0$$

즉, eigen vector는 아래 행렬의 null space와 같다.

$$A-\lambda I$$

한가지 주의할 점은, eigen vector x는 영벡터여서는 안된다는 점이다. (Non-Zero Vector)

또한, eigen vector는 유일하지 않으며, 그 크기에 따라 여러 형태로 표현할 수 있다.(Not Unique)

---

Trace(A)

A의 trace는 A의 대각행렬의 총합을 의미한다.

이는, A의 eigen value를 구했을 때, 값들의 합과 같다.

정리하면 아래와 같다.

A의 diagonal Term의 합
A의 eigen value의 합

식으로도 이해해보자.

$$Trace(A) = \sum_{i=1}a_{ii} = \sum_{i=1}\lambda_{i}$$

---

Diagonolization of Matrix (행렬의 대각화)

행렬 A가 주어졌다고 했을 때, 이를 다음과 같이 분해하는 것을 '행렬의 대각화'라고 한다.

$$A = S\Lambda S^{-1}$$

이때, S와 Λ는 각각 다음과 같은 행렬을 의미한다.

$$S = \left[\begin{matrix} |&|&...&|\\ e_{1}&e_{2}&...&e_{n}\\ |&|&...&|\\ \end{matrix}\right]$$

$$\Lambda = \left[\begin{matrix}\lambda_{1}&0&...&0\\ 0&\lambda_{2}&...&0\\ 0&0&...&\lambda_{n}\\ \end{matrix}\right]$$

즉, 행렬 A가 eigen vector들로 이루어진 행렬, eigen value들로 이루어진 행렬의 곱으로 분해되어질 수 있음을 유추할 수 있다.

하지만, 모든 행렬이 대각화가 가능한 것은 아니다. 보통 double root에 해당하는 경우 대각화가 불가능하다.

대각화 식을 변형하면 아래와 같은 방식으로 eigen value들을 구할 수 있다.

$$\Lambda = S^{-1}AS$$

---

대각화와 관련한 Remarks

대각화와 관련해서, 몇가지 기억할 점을 아래에 나열해두었다.

 

Remark 1> Eigenvalue가 distinct하다면, n개의 eigenvector들은 선형독립이다.

행렬 A의 eigen value를 구했을 때, 중복되는 값 없이 모두 distict하다면, 각 eigen value들로부터 만들어지는 eigenvector들은 모두 선형적으로 독립의 관계에 있다. 즉, 서로의 조합으로 만들어낼 수 없다.

 

Remark 2> S는 유일(Unique)하지 않다.

위에서도 이야기했다. eigen vector는, 크기에 따라서 여러 형태로 나타내어질 수 있다.

$${k e_{n}}$$

이는 위에서, k가 어떤 수가 되어도 관계 없음을 의미한다.

 

Remark 3> 모든 행렬이 n개의, 선형적으로 독립인, eigen vector를 가지는 것은 아니다.

즉, 대각화가 불가능한 경우가 존재한다는 것을 의미한다. 위에서는 보통 double root를 가질 때라고 이야기했다.

 

Remark 4> 0인 eigen value가 있다는 말은 (λ = 0), A의 역행렬이 존재하지 않는다는 말과 같다. (Not Invertible)

아래 식으로 remark를 이해해보자.

$$det(A-\lambda I) = det(A) = 0$$

하지만 이는 대각화가 불가능하다는 말은 아니다.

---

거듭제곱의 eigen들, 역행렬의 eigen들

행렬 A가 주어졌을 때, 그 거듭제곱의 eigen vector/value나, 그 역행렬의 eigen vector/value를 구해야 하는 경우가 있다.

아래를 보며 각 경우의 eigen 요소들을 익혀두도록 하자.

 

A의 eigen value가 λ, eigen vector가 e일 때,

 

A의 k거듭제곱

eigen value: λ^{k}
eigen vector: e

A의 역행렬

eigen value: 1/λ
eigen vector: e

 

응용한다면, 대각화 또한 아래와 같은 형태로 표현할 수  있겠다.

$$A^{k} = S \Lambda^{k} S^{-1}$$