파고파고

개요 SVD는, 행렬 A를 다음과 같은 형태로 분해하는 과정을 의미한다. $$A_{m×n} = U·\sum ·V^{T}$$ 과정 SVD의 과정을 따라가며, 분해된 요소들을 이해해보자. 1) ATA의 eigen value, eigen vector들을 찾는다. $$A^{T}A$$ 이때, eigen value는 0이 아닌 실수 (non-negative real number)이다. 2) eigen value의 크기에 따라 두 그룹으로 나누어, V 구하기 $$V = \left[\begin{matrix} V_{1} & V_{2} \end{matrix}\right]$$ -V1 V의 열 요소 중 하나인 v_1은 다음과 같은 형태를 지닌다. $$V_{1} = \left[\begin{matrix}v_{1} & v_{2} ..

거듭제곱 지수가 "행렬"의 형태일 경우, 계산을 어떻게 하는지 알아보자. 행렬의 지수 1. $$e^{A}$$ 자연상수 e의 지수가 행렬 A인 경우, 다음의 분해식을 활용하면 e의 A거듭제곱을 찾을 수 있다. $$e^{A} = Se^{\Lambda}S^{-1}$$ 단, 이때 A는 분해가능(diagonolizable)해야한다. 2. $$a^{A}$$ 자연상수가 아닌 임의의 상수 a의 A 거듭제곱은 어떻게 찾을까. $$a^{A} = S·(e^{\log a})^{\Lambda}·S^{-1} = S·a^{\Lambda}·S^{-1}$$ e 대신 a가 들어간 것과 같음을 확인하자. 행렬의 미분 같은 맥락에서, 지수가 행렬의 형태인 식을 미분하면 어떻게 되는지도 함께 살펴보자. $${d\over dt} e^{tA} ..

Unity Matrix Unity Matrix의 개념과 특징을 간단하게 정리해보자. 정의 Unity Matrix는, 다음을 만족하는 행렬 U를 의미한다. $$U^{H} = U^{-1}$$ $$U^{H}U = I$$ Properties 1) 각과 크기가 보존(preserved)된다. U를 곱해도, 두 벡터 간 사잇각이나 길이가 변하지 않는다. $$x^{H}·y = (Ux)^{H}·(Uy)$$ $$(Ux)^{H}·(Ux) = ||x||^{2} = x·x$$ 2) U의 모든 eigenvalue가 'Unit Length'를 가진다. $$||\lambda_{i}|| = 1$$ 3) U의 모든 eigenvector가 수직이고 크기가 1이다. (orthonormal) Homogeneous Least Square 경우..

지금까지 행렬의 요소로 사용된 수는 실수 범위에 포함되었지만, 당연히 실수뿐 아니라 복소수 또한 행렬의 요소로서 사용될 수 있다. 그런 의미에서 Complex Matrix와, Hermite Matrix에 대해 알아보자. Complex Conjugate (켤레복소수) 먼저 복소수, 켤레복소수의 개념을 짚고 넘어가자. $$z = a+jb$$ 복소수는, 위처럼 실수부와 허수부로 나뉘어 있는 수를 의미한다. (여기서 j의 제곱은 -1이다.) 켤레복소수는, 복소수에 대해 다음과 같은 형태를 뜻한다. $$\overline z = a-jb$$ 복소수와 계수는 같으나, 허수부의 부호만 반대인 수를 뜻하는 것으로 해석할 수 있겠다. 복소수 벡터(Complex Vector)와 그 특징 요소가 켤레복소수 관계인 두 벡터를 ..

한 항과 그 다음 항들간의 관계를 식으로 나타낸 것을, 점화식이라고 알고 있다. 점화식으로부터 일련의 과정을 통해 그 일반항을 구하는 것이 가능한데, 여기서는 행렬의 관점에서 점화식을 푸는 방법을 포스팅할 예정이다. 방법 점화식을 행렬로 푸는 원리는, 아래의 식으로 설명될 수 있다. $$u_{k} = A^{k}u_{0} = S\Lambda^{k}S^{-1}u_{0}$$ 이때, S의 역행렬에 u의 첫항을 곱한 것을 c로 표현한다면, 식은 아래와 같은 형태로 변형된다. $$= c_{1}\lambda_{1}^{k}\left[\begin{matrix}e_{1}\end{matrix}\right] + c_{2}\lambda_{2}^{k}\left[\begin{matrix}e_{2}\end{matrix}\right]..

Eigen Value와 Eigen Vector가 무엇을 의미하는지와, 그것을 구하는 방법을 알아보자. 더불어, eigen value& eigen vector와 연관된 여러 연산이나 요소들도 함께 알아보자. 개념 및 계산법 행렬 A의 eigen value와 eigen vector를 구한다고 했을 때, 두 요소 모두 아래 형태의 행렬과 깊은 연관이 있다. $$A-\lambda I$$ Eigen Value eigen value는 위 행렬의 determinant가 0이 되도록 하는 람다(λ) 값을 의미한다. $$det(A-\lambda I) = 0$$ Eigen Vector eigen vector는 각 람다(λ)에 대해, 다음의 식을 만족하는 벡터 x를 의미한다. $$(A-\lambda I)x = 0$$ 즉, ..

Cofactor를 이용한 Determinant의 계산법 행렬 A의 Cofactor는, 다음과 같은 요소들로 구성된 행렬을 의미한다. $$C_{ij} = (-1)^{i+j}·\det(M)$$ 이때, M은 행렬 A의 행 하나와, 열 하나를 제외한 모든 요소들로 이루어진, 행렬의 부분을 의미한다. 행렬 A의 determinant는 행렬 A와 C의 조합으로, 아래와 같이 계산된다. $$det(A) = \sum_{ij}a_{ij}c_{ij}$$ $$det(A) = AC$$ Applications of Determinant (1) A의 역행렬로부터 det(A)를 얻어내기 $$C = Cofactor\ Matrix$$ 위에서 정의한 대로 Cofactor 행렬은 Cofactor들을 구성요소로 하는 행렬이다. 아래의 과정..

성질 Determinant의 주요 성질은 다음과 같다. 행렬 A에 대해, 1. 역행렬의 유무와 관련이 있다. det(A) = 0 이면, A의 역행렬이 존재하지 않는다. det(A) ≠ 0 이면, A의 역행렬이 존재한다. 2. pivoting의 횟수와 관련이 있다. 행렬 A를 가우스소거하여 Upper Triangular Matrix 형태로 만든다. 이때, U의 pivot들을 모두 곱한 값이 det(A)이다. 이 과정에서, pivoting을 홀수번 했을 경우 determinant의 부호는 음수, 반대로 짝수번 했을 경우 양수로 결정된다. 3. Crammer's Rule Determinant를 활용해 연립방정식을 푸는 법이다. $$A = \left[\begin{matrix} |&|&...&|\\ a_{1}&a..

수직과 내적 두 벡터 x, y가 수직이라는 말은, 그 내적이 0이라는 말과 같다. $$x⊥y\;\;↔\;\;x·y = 0\;\;↔\;\;x^{T}·y = 0$$ 이와 관련해, 내적의 값에 따른 두 벡터 사이의 각이 예각인지/직각인지/둔각인지도 알 수 있다. $$예각\;\;if\;\;x^{T}·y0$$ 이는 아래의 식에 기초한다. $$x·y = \sum_{i = 1}^{n}x_{i}y_{i} = ||x||\;||y||cos\theta$$ 동일한 벡터의 내적에 대해서는 다음도 성립한다. $$x·x = x^{T}·x = ||x||^{2}$$ 수직과 Linearly Independent Linearly Independent는, 각 벡터의 선형 조합이 0이 되기 위한 조건이 계수가 모두 0이 되는 경우 뿐일 때를..

Rotation Matrix 벡터와 곱해주었을 때 반시계방향(counter - clockwise)으로 θ만큼 회전한 벡터를 반환하는 linear transform이다. input = 벡터 output = 반시계방향(counter - clockwise)으로 θ만큼 회전된 벡터 $$R_{\theta} = \left[\begin{matrix}cos \theta & -sin\theta \\ sin\theta & cos\theta \\ \end{matrix}\right]$$ Rotation Matrix의 성질 (1) Orthonormal 모든 column vector와 row vector들이 서로 직교하고 그 크기가 1이다. (orthogonal + normal) $$r_{1}⊥r_{2},\;\;||r_{i}||..