Introduction
이번에 선형대수를 공부하면서 내용을 정리해보았습니다.
강의 영상 : https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/video_galleries/video-lectures/
Video Lectures | Linear Algebra | Mathematics | MIT OpenCourseWare
This section contains a complete set of video lectures on linear algebra along with transcripts and related resource files.
ocw.mit.edu
스터디 github : https://github.com/jwkweon/study-linear-algebra
GitHub - jwkweon/study-linear-algebra
Contribute to jwkweon/study-linear-algebra development by creating an account on GitHub.
github.com
참고한 블로그 :
Lecture 28: Similar matrices and jordan form
본 내용은 https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/video-lectures/le...
blog.naver.com
양정 행렬(Positive definite matrix)의 응용
이전 강의에서 배운 양정행렬에 대해 조금 더 배울게 있다.
양정행렬(Positive definite matrix)은 어떤 문제에서 나오길래 배운 것일까?
이것은 최소제곱(Least squares) 문제에서 나온다.
최소제곱 문제에서는 항상 $A^T A$가 나오는데, 이것이 대칭행렬이면서 동시에 양정행렬이 된다.
그렇다면 양정행렬의 역행렬은 양정행렬일까?
반드시 양정행렬이다. 왜나하면, 역행렬의 고유값은 $\frac{1}{\rm 고유값}$이 되기 때문에 역행렬의 고유값도 양수이다.
만일, 행렬 A와 B가 모두 양정행렬이라면 A+B도 양정행렬일까?
$$ { \rm exepct \ \ for } \ \ x = 0 $$
$$ x^T A x >0 $$
$$ x^T B x > 0 $$
이 식을 응용하면 다음과 같이 된다.
$$ x^T (A+B) x >0 $$
따라서, A+B도 양정행렬이 된다.
직사각 행렬 $A$와 $A^T A$
이제, 행렬 A를 mxn 직사각행렬이라고 가정해보자. (대칭행렬이 아니다)
이것은 행렬 A는 절대 양정행렬이 아니고, 일반적인 정사각 형태도 아니다.
하지만, $A^T A$는 정사각행렬이면서 대칭행렬이 된다.
$$A^T A$$
그렇다면 이것은 양정행렬(Positive definite matrix)이 될까?
만일, 양정행렬이라면 이차형식이 양수가 되어야한다.
$$x^T A^T A x $$
여기서, 식에 전치 끼리 괄호로 묶을 수 있다.
$$ (Ax)^T (Ax) $$
이 식을 잘보면 행벡터($(Ax)^T$)와 컬럼벡터($Ax$)의 내적이다.
즉, 벡터의 길이의 제곱이 된다.
그리고 벡터의 길이의 제곱은 항상 0보다 크거나 같다.
$$ x^T A^T A x = (Ax)^T (Ax) = || Ax|| ^2 \ge 0 $$
양정행렬이려면 이차형식이 0이면 안된다.
만일, x가 영벡터임을 제외한다면, A의 Null space가 없음을 보이면 된다.
예를들어 직사각행렬 A가 11x5의 크기라해보자.
언제, Ax=0이 아닐까? (x가 영벡터일 때 제외하고)
A의 column들이 모두 독립일때만 가능하고, 그때의 Rank=5라 할 수 있다.
이렇게 되면 $A^T A$는 양정행렬이라 부를 수 있다.
$$ x^T A^T A x = (Ax)^T (Ax) = || Ax|| ^2 > 0 $$
그리고 양정행렬에 대해서는 행교환(row exchange)를 할 필요가 없다.
또한, pivot 위치에 작은 숫자나 0을 절대 넣지 말아야한다.
양정행렬들은 계산하기 좋고 공부하기에 아주 좋은 행렬이기 때문이다.
유사 행렬(Similar Matrix)
이제부터는 대칭행렬에 대해 이야기 하지않을 것이다.
2개의 nxn 정사각행렬 A, B가 있다고 해보자.
어떤 행렬 M이 있는데 역행렬이 가능해야한다고 가정해보자.
만일, A와 B가 유사하다면 다음식이 나오게 된다.
$$ B = M^{-1} A M $$
$$ \rm A \ \ and \ \ B \ \ are \ \ Similar $$
이러한 형태의 식은 우리가 이미 자주 본 형태이다.
다음은 고유벡터 행렬 S와 역행렬을 이용해 고유값 대각행렬(람다행렬)을 만들어내는 식이다.
$$ \Lambda = S^{-1} A S $$
$$ \rm A \ \ is \ \ similar \ \ to \ \ \Lambda $$
이 식을 잘보면 위의 식과 비슷함을 알 수 있다. 이것을 위의 식처럼 해석하면
"행렬 A가 $\Lambda$와 유사(Similar)하다."라고 부를 수 있다.
여기서는 행렬 M이 특별히 고유벡터 행렬 S가 된 것이다.
만약, 다른 행렬 M을 사용해서 $B=M^{-1}AM$을 보면 행렬 B는 람다행렬이 되지는 않을 것이다.
하지만, B는 A와 유사하게 나올 것이다.
이러한 행렬을 하나의 Family으로 봐보자.
Family 내에 있는 각각의 행렬들은 서로간에 어떤 행렬 M이라는 것으로 연결되어 있다.
그리고 Family의 멤버중 가장 뛰어난 행렬이 대각행렬이 되는 것이다.
따라서, A와 유사한 모든 행렬이 있는 Family 내에서 가장 단순하고 멋진 행렬이 람다행렬이 되는 것이다.
예제를 봐보자.
$$ A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} $$
람다행렬을 구해보자.
trace는 4고 행렬식은 3이므로 아마, 고유값은 3, 1이 될 것이다.
$$ \Lambda = \begin{bmatrix} 3 & 0 \\ 0 & 1 \end{bmatrix} $$
이번에는 행렬 M을 그냥 아무렇게나 만들어보자. 역행렬을 구할수만 있으면 된다.
$$ M= \begin{bmatrix} 1 & 4 \\ 0 & 1 \end{bmatrix} $$
이를 통해 유사행렬 B를 구해보자.
$$ B = M^{-1} A M $$
$$ =\begin{bmatrix} 1 & -4 \\ 0 & 1 \end{bmatrix} \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} 1 & 4 \\ 0 & 1 \end{bmatrix} $$
$$ = \begin{bmatrix} 1 & - 4 \\ 0 & 1 \end{bmatrix} \begin{bmatrix} 2 & 9 \\ 1 & 6 \end{bmatrix}$$
$$ = \begin{bmatrix} -2 & -15 \\ 1 & 6 \end{bmatrix} = B $$
여기서 요점은 행렬 A, $\Lambda$, B 모두 유사행렬(similar matrix)라는 것이다.
이 행렬들은 모두 같은 고유값을 가지고 있다.
이번 챕터는 고유값에 대한 내용이고, 이것이 같은 고유값을 가지는 행렬들의 Family에 관심을 가지는 이유이다.
행렬 A와 람다행렬은 고유값이 3, 1임을 알 수 있다.
행렬 B도 고유값을 구해보자.
$$ B = \begin{bmatrix} -2 & -15 \\ 1 & 6 \end{bmatrix} $$
trace는 4이고 행렬식은 -12+15 = 3이 된다.
따라서, 고유값도 3, 1이 된다.
따라서, 행렬 A에 곱해지는 어떠한 행렬 M은 역행렬만 존재하다면 유사행렬을 만들 수 있고,
모두 동일한 고유값을 갖는다.
$$ \rm Similar \ \ matrices \ \ have \ \ same \ \ \lambda 's !! $$
고유값 3과 1을 갖는 또다른 Family들을 찾아보자.
$$ \begin{bmatrix} 3 & 7 \\ 0 & 1 \end{bmatrix} $$
이 삼각행렬도 Family에 속한다. 마찬가지로 A와 연결되는 어떤 행렬 M이 있을 것이다.
여기서, 대각성분의 위치를 서로 바꿔도 Family에 속한다.
$$ \begin{bmatrix} 1 & 7 \\ 0 & 3 \end{bmatrix} $$
그렇다면 이렇게 동일한 고유값을 갖는 이유는 무엇일까?
다음 식에서 시작을 해보자. 먼저, A가 고유값 람다를 가졌다고 가정해보자.
$$ Ax = \lambda x $$
우리는 이식으로부터 $B= M^{-1} A M$을 얻어야한다. 그리고 B의 고유값을 찾아야 한다.
$$ A MM^{-1} x = \lambda x $$
$$ M^{-1} A M M^{-1}x = \lambda M^{-1} x $$
$$ (M^{-1} A M)M^{-1}x = \lambda M^{-1} x $$
$$ B M^{-1} x = \lambda M^{-1} x $$
여기서 보면 $M^{-1}x$를 새로운 벡터로 볼 수있다. y로 봐보자.
$$ B y = \lambda y $$
결국, A의 고유값 람다가 여전히 B의 고유값 람다가 됨을 알 수 있다.
이것으로 증명을 할 수 있다.
그리고 A와 B의 차이를 봐보자.
A의 고유벡터는 $x$였다.
B의 고유벡터는 $M^{-1} x$가 된다.
따라서, A와 B는 동일한 고유값을 가지지만, 고유벡터는 이동하게 된다.
그리고 가장 중요한 유사행렬은 대각화 되는 람다 행렬이다.
대각 행렬을 다시 봐보자.
$$ \Lambda = \begin{bmatrix} 3 & 0 \\ 0 & 1 \end{bmatrix} $$
행렬 A를 대각화 시키면 고유값은 그대로 남아있고
고유벡터는 (1, 0)과 (0, 1)이 된다.
이러한 대각화는 고유벡터를 nice하게 만들고, 고유값은 동일하게 유지한다.
이렇게 우리는 nice한 Family에 대해서 보았다.
nice한 Family인 이유는 2개의 고유값이 서로 다르기 때문이다.
만일, 2개의 고유값이 같다면 가장 나쁜 경우 대각화를 할 수가 없다.
왜냐하면, 동일한 고유벡터는 고유벡터로 이루어진 S 행렬의 역행을 구할 수 없게 만든다.
따라서, 우리는 Bad Case에 대해 토론할 필요가 있다.
$$ \lambda_1 = \lambda_2 = 4 $$
다음과 같이 고유값 4와 4를 가지는 하나의 Family가 있다.
$$ {\rm one \ \ Family \ \ has} \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix} $$
이것은 단위행렬의 4배가 된다.
또 다른 행렬을 봐보자.
$$ \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix} $$
이 행렬도 고유값 4와 4를 가진다.
하지만, 위의 2개의 행렬은 서로 다른 Family가 된다.
왜냐하면, 단위행렬의 4배인 행렬은 $M^{-1}$과 $M$을 곱해도 자기 자신인 단위행렬의 4배인 행렬만을 얻게 된다.
즉, 행렬 $M$을 통해 어떠한 유사행렬도 구할 수가 없다. (유사행렬이 자기자신뿐)
따라서,
$$ {\rm small \ \ Family \ \ has} \begin{bmatrix} 4 & 0 \\ 0 & 4 \end{bmatrix} $$
이 행렬은 오직 자기 자신만 Family에 포함된다.
따라서, 단위행렬의 4배 행렬은 혼자만있는 small Family에 속하게 된다.
나머지 모든 고유값 4와 4를 갖는 행렬들은 big Family에 속하며 위의 행렬도 여기에 속하게 된다.
$$ {\rm big \ \ Family \ \ includes} \begin{bmatrix} 4 & 1 \\ 0 & 4 \end{bmatrix} $$
위 행렬은 단하나의 고유값만 가지고 단하나의 고유벡터만 존재한다.
그리고 위와 같은 행렬은 대각행렬은 아니지만 대각행렬에 가장 가까운 행렬로 big Family 내에서 가장 nice한 행렬이 된다. 또, 위의 행렬 처럼 1행2열 위치에 1이 있는 것을 Jordan form이라고 부른다.
이러한 Jordan form은 고유값이 중복되더라도 할 수 있는한 최대한 가깝게 대각화를 한 것이다.
하지만, 이러한 Jordan form은 고유값이 정확히 같을 경우에만 의존하기 때문에 일반적인 행렬에서 Jordan form을 찾는게 쉽지가 않다.
big Family의 또다른 멤버는 다음과 같다.
$$ \begin{bmatrix} 5 & 1 \\ -1 & 3 \end{bmatrix} $$
trace는 8이되고, 행렬식은 16이 된다. 따라서, 고유값 4와 4를 갖는다.
마찬가지로 이 행렬은 대각화 될 수 없다.
또다른 멤버를 더 구할 수가 있는데 trace=8, det = 16을 유지하면 된다.
$$ \begin{bmatrix} a & ? \\ ? & 8-a \end{bmatrix}$$
이런 형태로 멤버를 구하면 된다.
big Family에 속한 멤버들은 전부 유사(similar)하며 단지 하나의 고유벡터만 갖게 된다.
따라서, Family에 속한 멤버들은 동일한 숫자의 독립적인 고유벡터를 갖게 된다.
여기서 고유벡터 숫자만을 세는 것으로 충분하지 않고 좀더 이상으로 뭔가가 있다.
다음 예제를 봐보자.
$$ \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} $$
이 행렬은 trace도 0, 행렬식도 0이되므로 고유값은 4개의 0이 된다.
Jordan이 훌륭한 사람인 이유는 고유값이 4번 반복되는 이와 같은 끔찍한 행렬에 대해서도 생각했다는 것이다.
이 행렬은 얼마나 많은 고유벡터를 가질까?
고유값이 0이 되기 때문에 고유벡터는 Null space가 될 것이다.
$$ Ax = 0x $$
$$ Ax = 0 $$
그리고, 독립적인 row도 2개, 독립적인 column도 2개이므로 Rank=2가 된다.
따라서, Null space의 차원은 4-2=2가 된다.
그렇기 때문에 2개의 독립적인 고유벡터를 얻게 된다.
이번에는 1행 3열의 0을 7로 바꿔보자.
$$ \begin{bmatrix} 0 & 1 & 7 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} $$
이렇게 7을 추가해도 여전히 고유값은 같고, Rank=2이고 고유벡터도 2개이다.
즉, 바뀌기 전의 행렬과 유사(similar)하게 될 것이다.
7이 있는 이 행렬은 아름답지 않기 때문에 Jordan은 7대신 0을 골랐다.
또, Jordan은 1을 골랐고 대각선 위에 놓았다.
$$ \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{bmatrix} $$
이 행렬은 2개의 고유벡터를 가지고 있고, 2개의 고유벡터는 잃었다(missing).
다음 예제를 봐보자.
$$ \begin{bmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 0 \end{bmatrix} $$
이 행렬도 마찬가지로 고유값은 4개의 0이되고, Rank도 역시 2이다.
그렇기 때문에 2개의 고유벡터와 2개의 missing이 있다.
이 행렬은 이전 행렬과 유사(similar)하지 않다.
고유벡터 수는 유사해보이지만, 실제로는 그렇지 않다.
Jordan은 왼쪽의 행렬을 좌측 상단의 3x3 block으로 보고, 우측 하단의 1x1 block으로 보았다.
또, 오른쪽 행렬을 좌측 상단의 2x2 block으로 보고, 우측 하단의 2x2 block으로 보았다.
이들 block은 Jordan block이라고 부른다.
Jordan block 행렬을 $J_i$로 봐보자.
$$ J_i = \begin{bmatrix} \lambda_i & 1 & 0 & 0 & 0 \\ 0 & \lambda_i & 1 & 0 & 0 \\ 0 & 0 & \lambda_i & 1 &0 \\ 0 & 0 & 0 & \lambda_i & 1 \\ 0 & 0 & 0 & 0 & \lambda_i \end{bmatrix}$$
Jordan block은 대각선에 고유값 $\lambda_i$가 반복되서 나타나고 대각선위에 1이 있으며, 나머지 성분은 0으로 채워진다.
Jordan block은 반복되는 고유값을 가지고 있어서 하나의 고유벡터만 존재하게 된다.
따라서, 이그림을 잘보면 각 block이 하나의 고유벡터를 가지고 있으므로 총 2개의 고유벡터를 가지게 되는 것이다.
그런데 2개의 행렬은 block size가 서로 다르다. 이 때문에 두 행렬은 similar 하지 않다고 이야기 했다.
Jordan's theorem은 다음과 같다.
모든 정사각행렬 A는 Jordan matrix인 J와 similar하다.
$$ \rm Every \ \ square \ \ A \ \ is \ \ similar \ \ to \ \ a \ \ Jordan \ \ matrix \ \ J $$
$$ J = \begin{bmatrix} J_1 & & & \\ & J_2 & & \\ & & \ddots & \\ & & & J_d \end{bmatrix} $$
여기서 Jordan Block의 수는 고유 벡터의 수이다.
Jordan 아이디어를 요약한다면,
만일, 고유값들이 모두 다르다면, Jordan 행렬은 대각행렬이 되고 람다 행렬이 된다. (d=n인 경우)
n개의 고유값이 있고, n개의 block이 있으며 대각행렬이 된다.
하지만, Jordan은 고유값이 반복되는 경우도 다루고 있다.
