Introduction
이번에 선형대수를 공부하면서 내용을 정리해보았습니다.
강의 영상 : https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/video_galleries/video-lectures/
Video Lectures | Linear Algebra | Mathematics | MIT OpenCourseWare
This section contains a complete set of video lectures on linear algebra along with transcripts and related resource files.
ocw.mit.edu
스터디 github : https://github.com/jwkweon/study-linear-algebra
GitHub - jwkweon/study-linear-algebra
Contribute to jwkweon/study-linear-algebra development by creating an account on GitHub.
github.com
참고한 블로그 :
Lecture 20: Cramer's rule, inverse matrix, and volume
Lecture 20: Cramer's rule, inverse matrix, and volume (6/15) - 좋아. 이번은 강의 20번이다. 그...
blog.naver.com
[Linear Algebra] Lecture 20-(1) 행렬식(Determinant)과 역행렬(Inverse Matrix), 그리고 크래머 공식(Cramer's Rule)
이번 시간에 다룰 내용은 행렬식(Determinant)과 역행렬(Inverse Matrix)의 관계, 그리고 크래머 공식(Cramer's Rule)에 관한 내용이다. 지난 Lecture 18, Lecture 19에 이어 행렬식을 다루는 세 번째 강의다. 앞의
twlab.tistory.com
(주로 https://twlab.tistory.com/43블로그의 사진과 내용을 보면서 공부했고 추가로 나머지 블로그를 참고하였습니다.)
(저는 제가 이해하기 쉽게 요약해서 적었으므로 좀더 자세히 공부하고싶다면 위 블로그를 참고하시면 됩니다.)
행렬식과 역행렬
다음은 2x2의 역행렬 공식이다.
$$ \begin{bmatrix} a & b \\ c & d \end{bmatrix}^{-1} = \frac{1}{ad-bc} \begin{bmatrix} d & -b \\ -c & a \end{bmatrix} $$
이 식을 한번 분석해보자.
먼저 분수 형태의 ad-bc는 2x2 determinant를 의미한다.
그다음 determinant 옆에 있는 행렬을 분석해보자.
$$ \begin{bmatrix} d & -b \\ -c & a \end{bmatrix} $$
결과부터 말하자면 (1,1) d는 원래 행렬의 (1, 1) a의 cofactor이다. (2, 2) a는 원래 행렬의 (2, 2) d의 cofactor이다.
그렇다면 -b는 어디서 온걸까?
(1, 2) -b는 원래 행렬의 (2, 1) c의 cofactor이고, (2, 1) -c는 원래 행렬의 (1, 2) b의 cofactor이다.
즉서로 대각선끼리 바뀌었는데 이는 즉, transpose라는 것을 의미한다.
따라서, 위 행렬은 원래 행렬의 여인수 행렬의 transpose라는 것이다.
역행렬 식을 다시 쓰면 다음과 같다.
$$ A^{-1} = \frac{1}{det \ A} C^{T} $$
이 식은 2x2 경우에 잘 동작한다. 더 나아가 3x3, 4x4, ..., nxn에서도 또한 잘 작동한다.
하지만, 이 식이 어떻게 나오게 됬는지 알아보자.
먼저 3x3에 대해서 보자.
$$\begin{bmatrix} a & b & c \\ d & e & f \\ g & h & i \end{bmatrix} $$
여기서 a의 cofactor를 구해보자. row1과 col1을 지우면 2x2의 다음과 같은 행렬이 보일 것이다.
$$ \begin{vmatrix} e & f \\ h & i \end{vmatrix} $$
위와 같은 2x2의 determinant (ei - fh)가 여인수행렬 C의 (1, 1) 성분으로 들어가게 될 것이다.
여기서 알 수 있는건 C행렬의 성분은 3x3보다 크기가 1작은 2x2의 determinant인 것이다.
따라서, 원래 행렬이 nxn 행렬이라면 C행렬은 n-1개 성분의 곱셈으로된 행렬로 구성된다.
determinant의 경우 다음과 같이 표현된다.
$$ det \ A = a * det(...) + b * det(...) + c * det(...) + \cdots + i * det(...) $$
n개 만큼의 곱셈으로 이루어진 성분이 있다. (a * det(...) = aei - afh)
이전에 Lecture 3에서 배운 역행렬 계산법은 Gauss-Jordan 방법으로 계산했었다.
이전에 배운 방법은 수치적(numerical) 방법으로 역행렬은 구한 것 이다.
여기서 배우는 방법은 대수적(Algebraic) 방법을 통해 구한 것이다.
이제, 이러한 대수적 방법의 식이 어디서 유도 되었는지 알아보자. 다음 식을 봐보자.
$$ AC^{T} = (det \ A ) I $$
이 식은 위에서 구한 식에 양변에 det A를 곱하고 행렬 A를 곱한 식이다.
이 식이 참임을 증명하면 자연스럽게 역행렬 공식도 참인 것이다. 한번 증명해보자.
$$ AC^{T} = \begin{bmatrix} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{n1} & \cdots & a_{nn} \end{bmatrix} \begin{bmatrix} c_{11} & \cdots & c_{n1} \\ \vdots & \ddots & \vdots \\ c_{1n} & \cdots & c_{n1n} \end{bmatrix} = \begin{bmatrix} & & \\ & & \\ & & \end{bmatrix} $$
여기서 먼저, 대각선 원소들 부터 구해보자.
먼저 우변의 (1, 1)의 원소를 구하려면 A의 row1과 CT의 col1을 곱하면 된다.
$$ a_{11}c_{11} + a_{12} c_{12} + \cdots + a_{1n} c_{1n} $$
위 식을 잘보면 det A 공식이다.
우변의 (2, 2)의 원소도 구해보면 A의 row2와 CT의 col2을 곱하면 된다.
$$ a_{21}c_{21} + a_{22} c_{22} + \cdots + a_{2n} c_{2n} $$
이거는 factor를 row2로 선택한 det A 공식이 나온다. 따라서, 대각선 성분은 전부 다 det A이다.
$$ AC^{T} = \begin{bmatrix} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{n1} & \cdots & a_{nn} \end{bmatrix} \begin{bmatrix} c_{11} & \cdots & c_{n1} \\ \vdots & \ddots & \vdots \\ c_{1n} & \cdots & c_{n1n} \end{bmatrix} = \begin{bmatrix} det \ A& & \\ & \ddots & \\ & & det \ A \end{bmatrix} $$
이제 대각선 원소를 제외한 모든 원소가 0이면 증명이 끝이난다.
대각선을 제외한 모든 원소들은 어떤 행과 다른행의 cofactor와의 내적이다.
예를들어 row1과 다른 행에있는 cofactor를 곱하게 되면 0이 된다는 것이다. 왜 그럴까?
2x2의 행렬로 예시를 들어보자.
$$ \begin{bmatrix} a & b \\ c & d \end{bmatrix}^{-1} = \frac{1}{ad-bc} \begin{bmatrix} d & -b \\ -c & a \end{bmatrix} $$
여기서 A의 row1은 (a, b)이다. A의 row2에 대한 cofactor는 (-b, a)이다.
그러면 A의 row1과 A의 row2에 대한 cofactor를 내적하면 다음과 같다.
$$ (a, \ b) \cdot (-b, \ a) = -ab + ab = 0 $$
여기서 위와같은 determinant를 가지는 행렬을 As라 하면 다음과 같다.
$$ A_S = \begin{bmatrix} a & b \\ a & b \end{bmatrix} $$
즉, 같은 row가 생기는 특이 행렬(singular matrix)이 되고 determinant는 반드시 0을 얻게된다.
결국, 대각선 원소를 제외한 모든 원소는 같은 row가 생기는 특이 행렬의 determinant를 구하는 것과 마찬가지이므로 전부다 0이 된다.
$$ AC^{T} = \begin{bmatrix} a_{11} & \cdots & a_{1n} \\ \vdots & \ddots & \vdots \\ a_{n1} & \cdots & a_{nn} \end{bmatrix} \begin{bmatrix} c_{11} & \cdots & c_{n1} \\ \vdots & \ddots & \vdots \\ c_{1n} & \cdots & c_{n1n} \end{bmatrix} = \begin{bmatrix} det \ A& 0 & 0 \\ 0 & det \ A & 0 \\ 0& 0 & det \ A \end{bmatrix} = (det \ A) I $$
이렇게 증명이 되었으므로 이제 대수적인 방법으로의 역행렬 공식을 외워서 그냥 쓰면된다.
크래머 공식(Cramer's Rule)
위에서 배운 식을 통해 다음과 같은 선형방정식 Ax=b를 풀 수가 있다.
$$ Ax=b $$
$$ x= A^{-1} b $$
$$ x = \frac{1}{det \ A} C^T b $$
따라서, 위 식을 행렬로 표현하면 다음과 같다.
$$ \begin{bmatrix} x_{11} \\ x_2 \\ x_3 \\ \vdots \\ x_n \end{bmatrix} = \frac{1}{det \ A} \begin{bmatrix} c_{11} & c_{21} & c_{31} & \cdots & c_{n1} \\ c_{12} & c_{22} & c_{32} & \cdots & c_{n2} \\ c_{13} & c_{23} & c_{33} & \cdots & c_{n3} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ c_{1n} & c_{2n} & c_{3n} & \cdots & c_{nn} \\ \end{bmatrix} \begin{bmatrix} b_1 \\ b_2 \\ b_3 \\ \vdots \\ b_n \end{bmatrix} $$
이제 x1을 구해보자.
$$ x_1 = \frac{c_{11} b_1 + c_{21} b_2 + \cdots + c_{n1} b_n}{det \ A} = \frac{det \ B_1}{det \ A} $$
여기서 A의 cofactor들과 벡터 b를 곱하는데 이렇게 곱한 $C^T b$도 어떤 하나의 determinant가 나온다고 생각하자. 그리고 그 determinant를 det B1이라 하자.
그러면, x2는 다음과 같이 det B2라는 determinant가 될 것이다.
$$ x_2 = \frac{c_{12} b_1 + c_{22} b_2 + \cdots + c_{n2} b_n}{det \ A} = \frac{det \ B_2}{det \ A} $$
그렇다면 B1이라는 행렬은 무엇일까?
행렬 B1은 column 1이 b로 되어 있고 나머지 column은 A의 n-1 column으로 구성된다.
또는 A 행렬에서 컬럼 하나가 b에 의해 교체된 것과 같은 모습이다.
$$ B_1 = \begin{bmatrix} b_1 & a_{12} & a_{13} & \cdots & a_{1n} \\ b_2 & a_{22} & a_{23} & \cdots & a_{2n} \\ \vdots & \vdots & \vdots & \cdots & \vdots \\ b_n & a_{n2} & a_{n3} & \cdots & a_{nn} \end{bmatrix} $$
그리고 det B1을 구하면 다음과 같다.
$$ c_{11} b_1 + c_{21} b_2 + \cdots + c_{n1} b_n $$
마찬가지로 B2면은 A행렬에서 column 2만 b로 교체된 것과 같은 모습이 나올 것이다.
결국, 크래머 공식을 요약하면 다음과 같다.
크래머 공식은 Ax=b의 해 x를 determinant로 유도된 공식을 통해 푸는 방법으로,
이때 determinant를 이용하여 해를 풀기 때문에 A는 정방행렬이어야 하며 특이 행렬이 아니어야한다.
$$ Ax=b $$
$$ x= A^{-1} b $$
$$ x = \frac{1}{det \ A} C^T b $$
$$ x_j = \frac{c_{1j} b_1 + c_{2j} b_2 + \cdots + c_{nj} b_n}{det \ A} = \frac{det \ B_j}{det \ A} $$
$$ B_j = A \ \ with \ \ column \ \ j \ \ replaced \ \ by \ \ b $$
행렬식과 부피(Volume)
정방행렬 A의 행렬식(determinant)은 행렬을 통해 표현되는 상자(box)의 부피(volumne)을 나타낸다.
$$ det \ A = volume \ \ of \ \ box $$
행렬 A를 3x3이라 가정해보자.
$$A = \begin{bmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{bmatrix} $$
여기서, row벡터 3개를 끄집어내보자. 이것을 3차원 공간에 벡터를 그려보자.
row1벡터는 (a11, a12, a13)
row2벡터는 (a21, a22, a23)
row3벡터는 (a31, a32, a33)
이렇게 하면 평행육면체의 box가 나오게 될 것이다.
이렇게 3개의 edge를 가지고 각 면이 평행사변형인 box가 만들어지게 된다.
그리고 이 박스의 volumn(체적, 부피)은 행렬식(determinant)에 의해 주어진다.
그리고 행렬식은 음수가 되는 것도 가능하다. 우리가 volumn을 양수로 생각한다면 행렬식의 절댓값을 이용해야한다.
$$ | det \ A | $$
그러면 행렬식의 부호는 무엇일까?
행렬식의 부호는 우리에게 오른손잡이 box인지 왼손잡이 box인지를 말해준다.
만일, 위 그림에서 edge 중 2개를 서로 바꾸면, 오른손잡이 or 왼손잡이 box 사이로 바뀔 것이다.
예를들어 row1 벡터와 row2 벡터를 행교환하면 되고 이는 즉, row exchange에 의해 determinant의 부호가 바뀐다는 것은 행렬식 특성 (2)를 통해 알 수 있다.
여기서, volumn은 바뀌지 않고 순환순서만 바뀔 것이다.
만일, A가 단위행렬이면 어떻게 될가?
$$ A = I = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} $$
이러면 각, row벡터들은 x축, y축, z축이 될 것이고 각 변의 길이가 1인 정육면체(or unit cube)가 될 것이다.
즉, volumn은 1x1x1=1이 될것이고 이는 det A = 1이라는 의미이다.
이를 통해 우리는 행렬식의 특성 1을 다시 한번 확인할 수 있다.
이번에는 단위행렬이 아닌 A가 직교행렬(orthogonal matrix)라 가정해보자.
우리는 이러한 행렬을 항상 Q라고 불렀다.
$$ A = Q $$
이 행렬은 column들이 정규직교(orthonormal)인 행렬이다.
그렇다면 이 행렬은 어떠한 형태의 volumn을 가질까?
결과 부터 알려주면 단위 행렬과 같은 unit cube이지만 원점을 중심으로 회전(rotated)된 모습이다.
그렇다면 volumn이 1이라는것은 determinant가 1이라는 뜻인데 이를 증명해보자.
$$ Q^T Q = I$$
양변에 determinant를 취한다.
$$ |Q^T Q | = |I| $$
행렬식 특성(9)에 의해 다음과 같이 된다.
$$ |Q^T| |Q| = 1 $$
행렬식 특성(10)에 의해 det QT = det Q 이므로 다음과 같이 된다.
$$ |Q|^2 = 1 $$
$$ \therefore | Q | = \pm 1 $$
위의 Q는 복소수까지 고려했을때 -1이 되는거고 기본적으로 Q의 determinant는 1이 된다고 기억하자.
이번에는 cube가 아닌 직사각형 box를 생각해보자.
$$A = \begin{bmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{bmatrix} $$
여기서 row1만 2배로 하고 나머지 row2, row3은 그대로 두자.
$$A = \begin{bmatrix} 2a_{11} & 2a_{12} & 2a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{bmatrix} $$
그러면 다음과 같이 row1벡터가 두배가 됨에 따라 기존에 있던 정사각box에서 edge 하나가 길이가 두배가 된다.
그러면 위와같은 기존의 cube가 2개가 합쳐진 어떤 직사각형 box가 될 것이다.
여기서 우리는 그림만 봐도 edge를 2배로 하면 volumn도 2배가 될 것임을 알 수 있다.
그렇다면 determinant도 2배가 되야할 것이다. 이는 행렬식 특성 (3)-①을 떠올리면 된다.
$$det \ A = \begin{vmatrix} 2a_{11} & 2a_{12} & 2a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{vmatrix} $$
특성 (3)-① 적용.
$$det \ A = 2 \begin{vmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{vmatrix} $$
따라서, 이번 직사각형 box를 통해 행렬식 특성 (3)-①이 만족함도 확인할 수 있다.
그러면 특성 (3)-②도 만족하는지 검토해보자.
이번에는 2x2의 행렬로 생각해보자.
$$ \begin{vmatrix} a+a' & b+b' \\ c & d \end{vmatrix} = \begin{vmatrix} a & b \\ c & d \end{vmatrix} + \begin{vmatrix} a' & b' \\ c & d \end{vmatrix} $$
이 행렬식을 그려보면 다음과 같은 평행사변형이 나올 것이다.
이 평행사변형의 넓이는 밑변x높이가 되는데, 여태까지 우리가 구한 공식으로 구하려면 오래 걸릴 것이다.
아마, 제곱근 등을 포함한 복잡한 수식이 될것인데, 이제는 행렬식이 평행사변형의 면적이라는 공식을 알고 있으니 단지 행렬식 ad-bc를 이용하면 면적이 구해진다.
$$ ad-bc $$
그리고 여기 이 삼각형을 봐보자.
이 삼각형은 평행사변형의 절반이다. 그러면 넓이는 다음과 같이 ad-bc의 절반이 될 것이다.
$$ \frac{1}{2} (ad-bc) $$
만일, 삼각형이 원점에서 시작하지 않는다면 어떻게 될까?
$$ area = \frac{1}{2} \begin{vmatrix} x_1 & y_1 & 1 \\ x_2 & y_2 & 1 \\ x_3 & y_3 & 1 \end{vmatrix} $$
여기서 row2에다가 row1을 빼고 row3에다가도 row1을 빼보자.
$$ area = \frac{1}{2} \begin{vmatrix} x_1 & y_1 & 1 \\ x_2 - x_1 & y_2 - y_1 & 0 \\ x_3 - x_1 & y_3 - y_1 & 0 \end{vmatrix} $$
즉, 위의 삼각형 그림에서 (x1, y1)을 (0, 0) 원점으로 만들어 준다면 나머지 꼭지점 2개에도 x1, y1 만큼을 빼줘야 삼각형이 이동한다.
(강의에서는 3-②에 대한 증명을 시간이 없어서 못했으니 책에 있는 그림을 보고 이해하라고 한다.)
