특이값 분해 - 간단한 예제

 

특이값 분해는 주어진 행렬을 분해하는 방법 중 하나입니다.

m x n 행렬을 직교행렬과 고윳값으로 이루어진 행렬의 곱으로 나타내는 방법이라 할 수 있죠.

 

여기서 특잇값이란, $\sigma$ 기호로 표기하고 고윳값인 $\lambda$ 에 대한 양의 제곱근과 같습니다.

 

$\sigma =\sqrt{\lambda }$ 

 

아래는 특이값 분해 공식입니다.

 

$A = U \Sigma  V^{^{T}}$ 

 

하나씩 뜯어보도록 하겠습니다.

 

 

A는 m x n 의 실수행렬이고

 

U는 행렬 $A A^{T}$ 의 고유벡터를 열로 갖는 직교행렬,

 

$\Sigma$ 는 행렬 A의 특잇값을 주대각 성분으로 갖는 직사각 대각행렬

 

V는 행렬 $AA^{T}$  의 고유벡터를 열로 갖는 직교 행렬입니다. 

 

 

 

대충 이해가 되셨다면 간단한 예제를 이용해 특이값 분해 과정을 보여드리겠습니다.

 

 

행렬 $A = \begin{bmatrix} 1 & 2 & 0 \\ 0 & 1 & 2 \\ \end{bmatrix}$ 를 특이값 분해하라

 

 

 

먼저, 특이값은 고윳값의 양의 제곱근이기 때문에 고윳값을 먼저 구해 특이값을 얻어야 합니다.

 

고윳값을 구하기 위해서는 n x n 꼴인 정방행렬이 되어야 하므로 

 

$A^{T}A$ 를 하여 $\widetilde{A}$ 꼴로 만들어줍니다. ($AA^{T}=\widetilde{A}$)

 

 

$AA^{T}= \begin{bmatrix} 1 & 0 \\ 2 & 1 \\ 0 & 2 \\ \end{bmatrix} \begin{bmatrix} 1 & 2 & 0 \\ 0 & 1 & 2 \\ \end{bmatrix} = \begin{bmatrix} 1 &2  & 0 \\ 2 &5  & 2 \\ 0 & 2 & 4 \\ \end{bmatrix}$

 

 

이제 이 행렬로 고윳값을 구해주면, 

 

$\lambda I - \widetilde{A} = \begin{bmatrix} \lambda -1 & -2 & 0 \\ -2 & \lambda -5 & -2 \\ 0 & -2 & \lambda -4 \\ \end{bmatrix} = \lambda (\lambda -3)(\lambda -7) = 0$

 

 

이므로 행렬 $\widetilde{A}$ 의 고윳값은 7, 3, 0 이고, 

 

특이값은 크기 순으로 $\sigma _{1} = \sqrt 7$ , $\sigma _{2} = \sqrt 3$ , $\sigma _{3} = 0$ 입니다. 

 

특이값을 구했다면 특이값을 주대각 성분으로 갖는 직사각 대각행렬 $\Sigma$ 를 알 수 있습니다.

 

특이값이 3개 나왔으므로 $\Sigma =\begin{bmatrix} \sqrt 7 & 0 & 0 \\ 0 &\sqrt 3  & 0 \\ 0 & 0 & 0 \\ \end{bmatrix}$ 이렇게 생각하실 수도 있겠지만, 

 

A가 2x3 행렬이므로 $\Sigma$ 도 3x3 이 아닌, 2x3 행렬로 나옵니다.

 

따라서 마지막 특이값 0은 사용하지 않습니다.

 

$\Sigma =\begin{bmatrix} \sqrt 7 & 0 & 0 \\ 0 &\sqrt 3  & 0 \\ \end{bmatrix}$

 

이제 $\Sigma$ 행렬은 구했고,

 

 

행렬 V를 구하기 위해 각 고윳값에 대응하는 고유벡터를 구해봅시다. 

 

고유벡터 구하는 자세한 방법은 아래 글을 참고해주세요.

https://studywithsheep.tistory.com/71

 

$\lambda_{1} = 7 , x_{1}=\begin{bmatrix} \frac{1}{2} \\ \frac{3}{2} \\ 1\\ \end{bmatrix}$   ,   $\lambda_{2} = 3 , x_{2}=\begin{bmatrix} -\frac{1}{2} \\ -\frac{1}{2} \\ 1\\ \end{bmatrix}$   ,   $\lambda_{3} = 0 , x_{3}=\begin{bmatrix} 4 \\ -2 \\ 1\\ \end{bmatrix}$

 

 

이제 각 고유벡터를 열로 갖는 직교행렬 V를 구할 것입니다.

 

하나 주의할 점은, 벡터 $x_{1}, x_{2} , x_{3}$ 를 바로 붙여넣는 게 아니라는 것입니다.

 

각 고유벡터를 정규화된 단위 벡터로 표현해야 V가 나옵니다. 

 

 

 

구하는 방식은 다음과 같습니다. 

 

고유 벡터의 모든 값을 각각 제곱해준 뒤 더해주고 루트를 씌워줍니다.

 

그 후에 그 값을 고유 벡터에 나누어 주면 됩니다. 

 

 

나머지 $x_{2} , x_{3}$ 도 이와 같이 연산을 해주면 V를 구할 수 있습니다.

 

$V =\begin{bmatrix}  \frac{\sqrt 14}{14}& -\frac{\sqrt 6}{6} & \frac{4\sqrt21}{21} \\ \frac{3\sqrt14}{14} & -\frac{\sqrt 6}{6} &-\frac{2\sqrt21}{21}  \\ \frac{\sqrt 14}{7} & \frac{\sqrt 6}{3} & \frac{\sqrt21}{21} \\ \end{bmatrix}$ 

 

 

 

마지막으로 U를 구해보겠습니다. 

 

U는

 

$u_{i} = \frac{1}{\sigma _{i}} \begin{bmatrix} 1 & 2 & 0 \\ 0 & 1 & 2 \\ \end{bmatrix} v_{i}$ 

 

이렇게 구하라는 곳도 꽤 있지만, 

 

사실 V를 구한 방식대로 구할 수 있습니다. 

 

V와 U에 대한 설명을 보면,

 

V는 A행렬 x A 전치행렬의 고유벡터를 열로 갖는 직교행렬,

 

U는 A 전치행렬 x A행렬의 고유벡터를 열로 갖는 직교행렬로

 

곱셈의 순서밖에 차이가 없습니다. 

 

따라서, 

 

이번에는 A전치행렬 x A행렬을 해준 

 

$A^{T}A = \begin{bmatrix} 5 & 2 \\ 2 & 5 \\ \end{bmatrix}$ 를 이용합니다. 

 

고윳값은 7, 3이 나온다는 걸 금방 구할 수 있고 

 

고유 벡터는 

 

고윳값이 7일 땐 $\begin{bmatrix} 1 \\1 \end{bmatrix}$ , 3일 땐 $\begin{bmatrix} -1 \\1 \end{bmatrix}$ 이 나온다는 것도 구할 수 있습니다.

 

 

이를 이용해 정규화된 단위벡터로 만들어주면 , 

이런 식으로 나와서 U도 아래와 같이 구했습니다. 

 

$U = \begin{bmatrix} \frac{\sqrt 2}{2} & -\frac{\sqrt 2}{2} \\ \frac{\sqrt 2}{2} & \frac{\sqrt 2}{2} \\ \end{bmatrix}$ 

 

 

이제 $A=U\Sigma V^{T}$ 에 각각을 대입해주기만 하면 특이값 분해는 끝이납니다. 

 

특이값 분해 결과 : 

 

$A=\begin{bmatrix} 1 & 2 & 0 \\ 0 & 1 & 2 \\ \end{bmatrix}$ $= \begin{bmatrix} \frac{\sqrt 2}{2} & -\frac{\sqrt 2}{2}  \\ \frac{\sqrt 2}{2} & \frac{\sqrt 2}{2} \\ \end{bmatrix}$ $\begin{bmatrix} \sqrt 7 &0  &0  \\ 0 & \sqrt 3 &  0\\ \end{bmatrix}$ $\begin{bmatrix} \frac{\sqrt 14}{14} & -\frac{\sqrt 6}{6} & \frac{4 \sqrt 21}{21} \\ \frac{3 \sqrt 14}{14} &-\frac{\sqrt 6}{6}  & -\frac{2 \sqrt 21}{21} \\ \frac{\sqrt 14}{7} & \frac{\sqrt 6}{3} & \frac{\sqrt 21}{21} \\ \end{bmatrix}^{T}$