[Linear Algebra] Lecture 5, 대칭 행렬, 벡터 공간, 부분 공간

Introduction

이번에 선형대수를 공부하면서 내용을 정리해보았습니다.

강의 영상 : https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/video_galleries/video-lectures/

Video Lectures | Linear Algebra | Mathematics | MIT OpenCourseWare

스터디 github : https://github.com/jwkweon/study-linear-algebra

GitHub - jwkweon/study-linear-algebra

참고한 블로그 :

https://blog.naver.com/PostView.naver?blogId=skkong89&logNo=221390712667&categoryNo=48&parentCategoryNo=0&viewDate=&currentPage=1&postListTopCurrentPage=1&from=postList&userTopListOpen=true&userTopListCount=30&userTopListManageOpen=false&userTopListCurrentPage=1 

Lecture 5: Transposes, permutations, spaces R^n

https://twlab.tistory.com/13

[Linear Algebra] Lecture 5 - (1) 치환행렬(Permutations), 전치(Transposes) 그리고 대칭 행렬(Symmetric Matrix)

(주로 https://twlab.tistory.com/13 블로그의 사진과 내용을 보면서 공부했고 추가로 나머지 블로그를 참고하였습니다.)

(저는 제가 이해하기 쉽게 요약해서 적었으므로 좀더 자세히 공부하고싶다면 위 블로그를 참고하시면 됩니다.)

---

대칭 행렬(Symmetric Matrix)

이번에 알아볼 행렬은 대칭 행렬이다. 특별한 형태이면서 최고의 행렬 형태라고 할 수 있다.

이러한 특성 때문에 다양한 곳에 응용된다고 한다. 대칭 행렬은 이름에서 보이듯이 대칭이라는 것이다.

즉, 전치를 해서 행과 열을 바꿔도 원래 행렬과 같은 특성을 지닌다.

$$ \begin{bmatrix} 3 & 1 & 7 \\ 1 & 2 & 9 \\ 7 & 9 & 4 \end{bmatrix} $$

$$ A^{T} = A $$

위 행렬 A는 대칭 행렬이다. 대각선의 원소 [3, 2, 4]를 기준으로 상삼각과 하삼각의 원소가 [1, 7, 9]로 같은것을 확인할 수 있다. 따라서, 전치는 대각선 원소 기준으로 뒤집으므로 전치를 해도 똑같음을 알 수 있다.

 

우리는 어떻게 이러한 대칭행렬을 구할 수 있을까? 다음 행렬을 봐보자.

$$ \underset{R^{T}}{\begin{bmatrix} 1 & 3 \\ 2 & 3 \\ 4 & 1 \end{bmatrix}^T} = \underset{R}{\begin{bmatrix} 1 & 2 & 4 \\ 3 & 3 & 1 \end{bmatrix}} $$

$$ ( 3 \times 2 ) \quad \quad ( 2 \times 3) $$

위의 R행렬은 직사각형 행렬로 대칭 행렬과 거리가 멀어보인다.

여기서, R행렬과 R^T 행렬을 곱하면 대칭 행렬이 된다. 아래 예를 봐보자.

$$ \underset{R^T}{\begin{bmatrix} 1 & 3 \\ 2 & 3 \\ 4 & 1 \end{bmatrix}} \underset{R}{\begin{bmatrix} 1 & 2 & 4 \\ 3 & 3 & 1 \end{bmatrix}} = \underset{S}{\begin{bmatrix} 10 & 11 & 7 \\ 11 & 13 & 11 \\ 7 & 11 & 17 \end{bmatrix}} $$

$$ R^T R = S $$

 

R행렬과 R의 전치 행렬을 곱했더니 대칭행렬 S가 나왔다. 왜 이렇게 되는 것일까?

자신과 똑같은 행렬을 단지 뒤집어서 곱했기 때문에 똑같은 원소 끼리의 곱이 반복될 수 밖에 없다.

 

따라서, 어떤 임의의 행렬 A와 그의 전치 행렬을 곱하면 항상 대칭 행렬을 얻는다는 것을 그냥 암기하자.

수식으로도 증명이 가능하다. 아래 식을 봐보자.

$$ \begin{align} (R^{T} R ) ^{T} &= R^{T} R^{TT} \\ & = R^{T} R \end{align} $$

따라서, R행렬과 R^T행렬의 곱을 전치했더니 자기 자신이 나온걸 확인할 수 있다.

---

벡터 공간(Vector Spaces)

벡터 공간에서 공간(Spaces)란 다수의 벡터가 있고, 이 벡터들이 모여 하나의 공간을 형성하는 곳이다.

그러나 아무 벡터나 허용되는 것이 아니다. 공간사에 존재하는 벡터들은 서로가 서로에게 더해질 수 있고, 임의의 숫자가 곱해져서 각 벡터의 길이가 늘어날 수도 있다.

즉, 선형결합(Linear Combination)연산이 같은 공간상에 존재하는 벡터들 사이에 가능해야 한다.

먼저, 2-dimensional vector space에 대해 알아보자.

x축과 y축으로 이루어진 2차원의 벡터 공간을 생각해보자. 다음과 같이 정의된다.

$$ \begin{align} R^2 &: \ \ all \ \ 2-dimentional \ \ real \ \ vectors  \\ &: \ \ x-y \ \ plane \end{align}$$

의미는 2차원 공간상에 존재하는 모든 실수(real number)벡터들의 집합을 의미한다.

여기에 포함되는 벡터는 무수히 많다.

$$ \begin{bmatrix} 1 \\ 2 \end{bmatrix}, \quad \begin{bmatrix} 0 \\ 0 \end{bmatrix}, \quad \begin{bmatrix} \pi \\ e \end{bmatrix}, \quad \cdots $$

R의 지수 부분의 숫자는 차원을 의미한다.

여기서, [0, 0]을 영 벡터라고 부르며, 2D벡터 공간에서는 실제로 표현되지 않지만 분명 2D 벡터 공간에 존재하는 하나의 벡터 원소이며, 영벡터 또한 벡터 공간내에서 존재하는 모든 벡터들의 선형 결합으로 나타낼 수 있기 때문에 공간을 이루기 위해서 반드시 필요하다. 2차원 뿐만아니라 모든 차원의 벡터 공간은 반드시 영 벡터를 포함해야 한다.

 

이번에는 3, and n-dimensional vector space에 대해 알아보자.

3차원 벡터공간은 2차원 벡터 공간에서 컴포넌트가 하나 더 추가된 것일 뿐 개념은 똑같다.

따라서, 3개의 실수 컴포넌트(x, y, z)로 정의할 수 있는 모든 벡터들이 존재할 수 있는 공간으로 정의할 수 있다.

(참고로 실수 뿐만아니라 허수(imaginary number)로 이루어진 벡터 공간도 있다)

(추가로 컴포넌트(component)란 우리가 중고등학교 때 좌표평면에서 x축과 y축을 각각 2차원을 구성하는 첫번째 컴포넌트 두번째 컴포넌트 라고 한다)(다라서, 3차원은 x축, y축, z축 3개의 컴포넌트가 있다)

$$ R^3 : \ \ all \ \ 3-dimentional \ \ real \ \ vectors \ \ with \ \ 3 \ \ components $$

3차원의 벡터는 다음과 같이 x, y, z의 3개의 컴포넌트로 구성될 것이다.

$$ \begin{bmatrix} 3 \\ 2 \\ 0 \end{bmatrix} $$

 

이제, 3차원에서 더나아가서 4차원, 5차원, ... n차원은 다음과 같이 생각할 수 있을 것이다.

n개의 실수 컴포넌트(x, y, z, ...)로 정의할 수 있는 모든 벡터들이 존재할 수 있는 공간이며, n개의 축(n개의 컴포넌트)가 있을 것이다.

$$ R^{n} : \ \ all  \ \ n-dimentional \ \ real \ \ vectors \ \ with \ \ n \ \ components $$

---

부분 공간(Subspace)

공간상에 있는 벡터들은 동일한 공간에 존재하는 다른 벡터들의 선형 결합에 의해 정의될 수 있어야 한다고 했다.

즉, 어떤 벡터에 상수값을 곱해 길이를 늘려주거나 다른 벡터들을 더해주었을 때 그 결과가 같은 공간에 존재해야 한다.

여기서 과연 항상 이런 경우만 존재할까? 그렇지 않은 예를 봐보자.

아래의 2차원 공간에서 1사분면만 취한다고 가정하자.

우리는 2차원 공간 전체 중에서 $ 1 \over 4 $의 영역인 1사분면만 가질 수 있다고 가정해보자.

이 1사분면 공간 내에 존재하는 다른 벡터들과 덧셈연산에 대해 살펴보자.

(1사 분면 벡터면 벡터의 좌표는 x, y 둘다 항상 양수 일 것이다)(x, y > 0)

어떻게 더하든 그 결과는 무조건 1사분면에 위치할 것이다.

따라서, 이러한 경우를 1사분면의 벡터 공간은 덧셈 연산에 대해 "닫혀있다(closure)"라고 한다.

 

이번에는 1사분면의 벡터들에 scalar(상수)값을 곱해주는 곱셈연산에 대해 살펴보자.

(scalar는 음수~0~양수 까지 다양한 (-), (+) 부호가 있다)

곱셈연산은 당연히 음수가 곱해지면 반대로가니 항상 1사분면에 위치하지 않을 것이다.

따라서, 이러한 경우를 1사분면의 벡터 공간은 곱셈 연산에 대해 "닫혀있지않다(not closure)"라고 한다.

 

이러한 경우를 우리는 1사분면을 벡터 공간이라고 할 수 없다. 왜냐하면 덧셈은 닫혀있는데 곱셈에는 닫혀있지않기 때문이다.

 

따라서, 임의의 차원의 벡터 공간이 정의되기 위해서는 선형 결합(Linear Combination) 연산에 대해 성립하고 닫혀있어야한다.

 

그렇다면, 부분공간이란 무엇일까?

R2안의 부분공간(Subspace of $ R^2 $)에 대해 알아보자.

부분 공간이란 n차원 공간에 포함이 되고, n차원 부분 공간내의 벡터들을 활용해 선형 결합 연산을 수행하였을 때 그 결과 벡터가 여전히 n차원 부분 공간에 존재할 경우 성립한다.

아래 예시를 봐보자.

직선 $ l $이라는 부분공간이 있다고 해보자. 이 부분공간내의 있는 벡터끼리 더하고 상수, 2, 3, 혹은 $ - { \frac{1}{2}} $와 같은 값들을 곱해도 $l$이라는 부분공간을 탈출 할 수없다. 심지어 상수 0을 곱해도 영벡터(zero vector)도 포함한다.

따라서, 직선 $l$은 $ R^2 $의 부분 공간이라 할 수 있다.

 

만일, 원점을 지나지 않는 직선 부분공간 $l'$에 대해 생각해보자.

이러한 경우는 딱봐도 $ R^2 $의 부분 공간이 될수 없음을 알 수 있다. 왜냐하면 부분공간의 벡터끼리 더하고 상수를 곱하면 쉽게 부분 공간을 탈출할 수 있다. 빨간벡터에 0을 곱하기만 해도 바로 알 수 있다.

따라서, 우리가 알 수 있는건

R2에 존재하는 직선이 부분 공간이 되기 위해서는 반드시 원짐인 zero vector를 지나가야 한다.

 

결국, 임의의 $R^n$의 부분 공간(subspace)은 반드시 zero vector를 포함해야 한다!

 

왜냐하면 어떠한 벡터도 0을 곱하는 순간 영벡터(zero vector)가 되기 때문이다.

 

한번, 2차원 평면인 $ R^2 $에서 가능한 부분 공간을 찾아보자.

$$ \begin{align} &1. \ \ all \ \ of \ \ R^2 \\ &2. \ \ any \ \ line \ \ through \ \ zero \ \ vector \\ &3. \ \ zero  \ \ vector \ \ only \end{align} $$

 

1 은 $R^2$공간 그 자체가 하나의 부분 공간이 될 수 있다.

2 은 위에서 계속 배운것이다.

3 은 평면도, 직선도 아닌 영벡터(zero vector) 그 자체가 부분 공간이 될 수 있다. 즉, 한 점 공간(point space)이다.

왜냐하면 영 벡터는 부분 공간의 조건에 대해 만족하기 때문이다.

(1) $R^2$에 속해 있다.

(2) 어떤 상수를 곱해도 zero vector이다.

(3) zero vector의 원소들인 zero vector 끼리 더해도 여전히 zero vector이다.

 

따라서, $R^n$ 공간에서 zero vector는 항상 $R^n$의 부분 공간이 된다.

 

3차원 평면인 $ R^3 $은 가능한 부분 공간이 무엇일까?

감이 좋은사람은 알것이다. 2차원 부분공간에서 딱하나 추가될 것이라는 걸. 바로 원점을 지나는 2차원 평면이다.

즉, 자기보다 한 단계 이상 낮은 차원이 원점을 지나면 모두 부분 공간이 될 수 있다.

$$ \begin{align} &1. \ \ all \ \ of \ \ R^3 \\ &2. \ \ any \ \ plane \ \ through \ \ zero \ \ vector \\ &3. \ \ any \ \ line \ \ through \ \ zero \ \ vector \\ &4. \ \ zero  \ \ vector \ \ only \end{align} $$

---

이번에는 위와 같이 $R^3$ 3차원 공간에 두개의 부분 공간 평면 P와 직선 L이 있고 평면 P의 벡터로는 주황색, 연두색 벡터가 있고 직선 L의 벡터로는 빨간색, 파란색 벡터가 있다고 해보자.

이때, 우리가 P와 L을 한 번에 같이 놓는다면? 즉, P 부분 공간과 L 부분 공간을 하나의 덩어리로 생각한다면 이 P와 L은 각각 혹은 둘 다가 하나의 부분 공간이 될 수 있을까? 수식으로 나타내면 P와 U공간의 합집합으로 생각하면 된다.

$$ P \bigcup L \ \ = \ \ all \ \ vectors \ \ in \ \ P \ \ or \ \ L \ \ or \ \ both $$

즉, P에 있는 모든 벡터와 L에 있는 모든 벡터를 합친 새로운 공간을 부분공간(부분집합)이라 할 수 있는가?

정답은 P와 L의 합집합은 부분 집합이라고 할 수 없다.

이유는 선형 결합의 규칙이 성립하지 않기 때문이다. 부분공간(부분집합)이 되려면 집합 내의 원소들 끼리 선형 결합을 해도 같은 공간에 존재해야 한다고 했다. 그러나 평면 P의 주황색 벡터와 라인 L의 파란색벡터를 더하면 평면과 직선 위가 아닌 $R^3$ 내의 새로운 공간 어딘가로 뻣어나가게 될 것이다.

 

따라서, P와 L의 합집합은 부분 공간이 아님을 알 수 있다.

 

이번에 교집합은 어떨까? P와 L의 겹치는 부분만 보면 된다.

$$ P \bigcap L \ \ = \ \ all \ \ vectors \ \ in \ \ P \ \ or \ \ L \ \ or \ \ both $$

즉, P에 있는 벡터와 L에 있는 벡터중 겹치는 벡터만 합친 새로운 공간을 부분공간(부분집합)이라 할 수 있는가?

정답은 P와 L의 교집합은 부분 집합이다.

이유는 위에서 두 부분 공간의 유일한 교점은 원점(영 벡터)이다. 왜냐하면 모든 부분 공간은 영벡터를 지나기 때문이다.

따라서, 교집합인 영 벡터 그 자체도 부분 공간이 됨을 아까 위에서 배웠다.

위에서는 직선 L과 평면 P가 원점에서만 만나는 경우지만 만일 다른 경우에도 생각해보자.

1. 평면 P 위에 직선 L이 있는 경우 : 교집합은 원점을 지나는 직선 L일 것이고 직선 L은 부분 공간이다.

2. 직선 L과 직선 K가 있는 경우 : 원점에서 만날 것이며 영 벡터가 부분 공간이 된다.

3. 평면 P와 평면 O가 만나는 경우 : 교집합으로 어떤 직선 J가 만들어 질것이고 직선 J는 원점을 지날 것이므로 직선 J는 부분 공간이다.

 

그 외에도 부분 공간 끼리의 교집합은 무조건 원점을 지나는 부분 공간이 될 수 밖에 없다.

 

요약하면

어떤 부분 공간들의 합집합은 부분 공간이 아니다.

어떤 부분 공간들의 교집합은 부분 공간이다.

 

---

행렬의 부분 공간(Subspace of Matrix)

이제 부분 공간이란 개념을 행렬에서도 끄집어내보자.

$$ \begin{bmatrix} 1 & 3 \\ 2 & 3 \\ 4 & 1 \end{bmatrix} $$

$$ A $$

위의 행렬 A로부터 부분 공간을 뽑아낼 수 있다.

바로, column 공간(column space)이다. 이는 매우 중요한 부분 공간이며 행렬로부터 뽑아내는 첫 번째 부분 공간이다.

A의 column은 $R^3$에서 정의될 수 있다. A의 부분 공간을 정의하기 위해선 column 요소끼리 더하고, 각 column에 임의의 상수를 곱해서 만들면 된다. 즉 A의 column원소끼리 정의할 수 있는 모든 선형 결합(Linear Combination)을 통해 A의 부분 공간을 정의한다.

 

임의의 행렬 A에서, 모든 column의 선형 결합(Linear Combination)은 부분 공간(subspace)을 형성한다.

우리는 이를 column space라 부르고 C(A)로 쓴다.

 

잘 감이 안오니 그림으로 봐보자.

A의 column 벡터 두개를 3차원 공간상에 표현한 것이다.

이제 다음 식과 같이 두 column 벡터들에 임의의 상수를 곱하기 이를 더해서 선형 결합을 한 결과를 그려보자.

$$ Linear \ \ Combination = c_1 \begin{bmatrix} 1 \\ 2 \\ 4 \end{bmatrix} + c_2 \begin{bmatrix} 3 \\ 3 \\ 1 \end{bmatrix} $$

 

$c_1$과 $c_2$를 랜덤하게 바꿔서 10개의 임의의 선형 결합을 한 결과를 나타내보자.

파란색의 10개의 벡터가 생겼다. 이번에는 100를 선형결합 해보자.

뭔가 평면이 보일 것 같다. 500개 까지 선형결합 해보자.

평행 사변형의 평면이 보인다... 저기 보이는 무수한 벡터끼리 더하고 곱해도 저 평행사변형 평면에서 나갈 수 없을 것이다.

참고로 저 평행사변형의 평면은 원점인 영벡터를 지난다. 따라서, 부분공간의 벡터끼리 아무리 더하고 상수를 곱해도 저 평행사변형을 빠져나갈수 없으며 원점을 지나니 $R^3$의 부분공간 규칙을 만족한다.

 

어떤 행렬의 차원을 말할 때는 rank를 통해 판별을 한다. 위의 행렬 A의 경우 3x2행렬로 row가 3, column이 2인 경우인데 이렇게 행과 열이 달라도 rank는 같다. row의 선형조합으로 만들 수 있는 공간은 2차원이고, column의 선형조합으로 만들 수 있는 공간도 2차원이다. 왜냐하면 row든 column이든 rank는 같기 때문이다.

위에서 보면 3차원 좌표공간에서 그렸지만 column으로는 2차원 평면밖에 못만든다.

마찬가지로 row는 2차원 좌표공간에서 2차원 평면을 만들 것이다.

 

결론은 행렬 A의 column들의 선형 결합을 통해 우리는 $R^3$의 부분 공간이 평면(plane)이라는 것을 눈으로 확인할 수 있다. 부분 공간을 정의하기 위해선 임의의 행렬 A의 column원소들의 가능한 모든 선형 조합을 생각하면 된다.

---

결론

우리는 대칭행렬과 부분 공간을 정의하는 방법에 대해 배웠다. 또한 어떤 행렬로부터 column space를 정의하는 방법도 배웠다. 어떤 행렬의 부분 공간을 정의하기 위해서는 row 또는 column 원소들의 가능한 모든 선형 결합을 통해 정의할 수 있다. 특히 벡터공간과 부부공간의 정의에 대해 다시 외우면서 끝내겠다.

벡터공간(Vector Space)은 벡터의 집합이며 똑같은 개수의 컴포넌트로 정의할 수 있는 무수히 많은 벡터들의 집합이다.

벡터의 공간을 정의하기위한 규칙은 다음과 같다.

1. 벡터 공간 내에 존재하는 임의의 벡터 $ \vec v $와 $ \vec w $는 그 둘을 더한 $ \vec v + \vec w $는 반드시 같은 벡터 공간에 존재해야 한다.

2. 벡터 공간 내에 존재하는 임의의 벡터 $ \vec v $에 임의의 상수 c를 곱한 c$ \vec v $는 반드시 같은 벡터 공간에 존재해야 한다.

3. 벡터 공간 내에 존재하는 임의의 벡터 $ \vec v $, $ \vec w $와 임의의 상수 c, d에 대해 모든 경우의 c$ \vec v $+d$ \vec w $ 조합(선형 결합)결과가 반드시 같은 벡터 공간에 존재해야 한다.

 

부분 공간이란 n차원 공간에 포함이 되고, n차원 부분 공간내의 벡터들을 활용해 선형 결합 연산을 수행하였을 때 그 결과 벡터가 여전히 n차원 부분 공간에 존재할 경우 성립한다.

임의의 $R^n$의 부분 공간(subspace)은 반드시 영 벡터(zero vector)이자 원점(origin)을 포함해야 한다.