2.6: Basis and Rank

2021-04-27 2442 words 5 minutes

Contents

Basis는 벡터공간을 구성하는 기본적인 요소이며 rank 또한 행렬의 성질을 확인할 때 자주 사용하는 개념이다. 특히, 어떤 행렬이 full rank인지 아닌지에 따라서 선형시스템의 해나 행렬의 변환특성은 크게 달라진다. 여기서 basis와 rank에 대해 알아보자.

Span

Generating set은 문자 그대로 풀어내면 “만들어내는 집합"이라는 뜻이다. 어떤 벡터집합을 가지고 있다면 이 벡터들의 선형결합을 통해 벡터공간을 만들 수 있을 것이다. 이런 벡터공간을 만드는데 재료역할을 하는 벡터집합을 generating set이라고하며 만들어진 벡터공간은 span이라고 한다. 엄밀한 정의는 아래와 같다.

Generating Set

벡터공간은 덧셈과 곱셈에 대한 특정 조건들을 만족하는 군이다. 따라서 벡터공간은 $V = (\mathcal{V}, +, \cdot)$으로 표기하고 이 벡터공간의 벡터 집합 $\mathcal{A}$를 $\mathcal{A} = \lbrace \boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{k} \rbrace \subseteq \mathcal{V}$라고 하자. 이 때, $\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{k}$의 선형결합으로 표현가능한 모든 벡터 $\boldsymbol{v} \in \mathcal{V}$에 대해서 $\mathcal{A}$를 generating set of $V$라고 한다.

Span

$\mathcal{A}$의 벡터 $\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{k}$로 만들어지는 선형결합의 집합을 span of $\mathcal{A}$라고 한다. $\mathcal{A}$가 벡터공간 $V$로 span한다면 $V = \text{span}[\mathcal{A}]$ 또는 $V = \text{span}[\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{k}]$으로 표기한다.

Basis

이제 generating set과 span을 사용해 basis를 정의해보자. Generating set은 꼭 서로 선형독립으로 중복되는 정보가 없을 필요는 없다. 예로 2차원 평면의 generating set이 꼭 $\left\lbrace \begin{bmatrix} 1 \cr 0\end{bmatrix}, \begin{bmatrix}0 \cr 1 \end{bmatrix} \right\rbrace$일 필요는 없다. $\left\lbrace \begin{bmatrix}1 \cr 0\end{bmatrix}, \begin{bmatrix}0 \cr 1\end{bmatrix}, \begin{bmatrix}1 \cr 1 \end{bmatrix} \right\rbrace$일 수도 있는 것이다. 따라서 generating set의 정의에 조건을 추가해 basis를 정의할 수 있다. basis는 다음과 같이 정의된다.

Basis

어떤 벡터공간 $V = (\mathcal{V}, +, \cdot)$과 벡터집합 $\mathcal{A} \subseteq \mathcal{V}$가 있다고 해보자. $V$로 span하는 generating set $\mathcal{A}$보다 작은 $\tilde{\mathcal{A}}$가 존재하지 않는다면 $(\tilde{\mathcal{A}} \subsetneq \mathcal{A} \subseteq \mathcal{V})$ $\mathcal{A}$는 $V$의 minimal generating set이라고 한다. 그리고 $V$에 대해서 선형 독립인 minimal generating set을 $V$의 기저(basis) 라고 한다.

Properties of Basis

벡터공간 $V = (\mathcal{V}, +, \cdot)$와 공집합이 아닌 $\mathcal{B} \subseteq \mathcal{V}$에 대해서 다음의 표현은 동치이다.

$\mathcal{B}$는 $V$의 basis이다.
$\mathcal{B}$는 $V$의 minimal generating set이다.
$\mathcal{B}$는 $V$에 대해 가장 큰 선형독립벡터의 집합이다. 이 집합에 어떠한 벡터가 더해지면 선형종속이 된다.
$V$에 속하는 모든 벡터 $\boldsymbol{x} \in V$는 $\mathcal{B}$의 선형결합으로 표기할 수 있으며 모든 선형결합은 유일(unique)하다.

Dimension

어떤 공간을 이야기할 때 우리는 차원(dimension)이라는 단어를 사용한다. basis를 사용해 차원을 정의하면 다음과 같다.

Dimension

벡터공간 $V$의 차원은 $V$의 basis 벡터의 수와 같다. 그리고 이를 $\text{dim}(V)$로 표기한다. $V$의 벡터부분공간 $U \subseteq V$는 $\text{dim}(U) \leqslant \text{dim}(V)$가 성립하며 등호는 벡터공간 $U = V$일때만 성립한다.

차원과 벡터를 구성하는 원소의 수는 무관하다. 예를 들어 $V = \begin{bmatrix} 0 \cr 1 \end{bmatrix}$이면 벡터를 구성하는 원소는 2개이지만 차원은 1차원이다.

Rank

Rank는 다음과 같이 정의할 수 있다.

Rank

행렬 $\boldsymbol{A} \in \mathbf{R}^{m \times n}$에 대해 선형독립인 열벡터의 수는 선형독립은 행벡터의 수와 같고 이를 행렬 $\boldsymbol{A}$의 rank 라고한다. rank는 $\text{rk}(\boldsymbol{A})$로 표기한다.

Properties of Rank

Rank가 가지는 성질은 다음가 같다.

$\text{rk}(\boldsymbol{A}) = \text{rk}(\boldsymbol{A}^{\top})$: 행벡터, 열벡터의 rank는 같다.
$\boldsymbol{A} \in \mathbf{R}^{m \times n}$의 열은 부분공간 $U \subseteq \mathbf{R}^{m}$을 span하며 $\text{dim}(U) = \text{rk}(\boldsymbol{A})$이다. 나중에 다루지만 이 부분공간을 image EHsms range라고 한다. $U$의 basis는 가우스 소거법을 통해 pivot columns를 확인함으로써 구할 수 있다.
$\boldsymbol{A} \in \mathbf{R}^{n \times n}$의 행은 부분공간 $W \subseteq \mathbf{R}^{m}$을 span하며 $\text{dim}(W) = \text{rk}(\boldsymbol{A})$이다. $W$의 basis는 $\boldsymbol{A}^{\top}$에 대한 가우스 소거법을 통해 구할 수 있다.
Regular (invertible) 행렬 $\boldsymbol{A} \in \mathbf{R}^{n \times n}$은 $\text{rk}(\boldsymbol{A})=n$이다.
$\boldsymbol{A} \in \mathbf{R}^{m \times n}, \boldsymbol{b} \in \mathbf{R}^{m}$일때, 선형시스템 $\boldsymbol{Ax} = \boldsymbol{b}$는 $\text{rk}(\boldsymbol{A}) = \text{rk}(\boldsymbol{A} \mid \boldsymbol{b})$일때만 풀 수 있다.
행렬 $\boldsymbol{A} \in \mathbf{R}^{m \times n}$에 대해서 $\boldsymbol{Ax} = \boldsymbol{0}$의 해에 대한 부분공간은 $n - \text{rk}(\boldsymbol{A})$를 갖는다. 행렬 $\boldsymbol{A}$가 full rank라면 0차원으로 특정 해를 갖는다. 이러한 부분공간을 kernel 또는 null space 라고한다.
행렬 $\boldsymbol{A} \in \mathbf{R}^{m \times n}$이 가능한 최대의 rank를 가질 때, 즉 행렬츼 차원과 동일한 rank를 가질 때 full rank 라고 한다. 따라서 full rank일 경우 $\text{rk}(\boldsymbol{A}) = \text{min}(m, n)$이 성립한다. Full-rank가 아닐경우 rank deficient 라고 한다.
행렬 $\boldsymbol{A} \in \mathbf{R}^{n \times n}$일때, 역행렬이 존재하기 위해서는 반드시 full rank여야 한다.

Example

다음 행렬의 rank를 구해보자. $$ \boldsymbol{A}=\begin{bmatrix} 1 & 0 & 1 \cr 0 & 1 & 1 \cr 0 & 0 & 0 \end{bmatrix} $$ 두 개의 pivot column이 있으므로 $\text{rk}(\boldsymbol{A})$는 2이다.
다음 행렬의 rank를 구해보자. $$ \boldsymbol{A}=\begin{bmatrix} 1 & 2 & 1 \cr -2 & -3 & 1 \cr 3 & 5 & 0 \end{bmatrix} $$ 위 행렬에 대해 가우스 소거법을 사용하면 $\begin{bmatrix} 1 & 2 & 1 \cr 0 & 1 & 3 \cr 0 & 0 & 0 \end{bmatrix}$이다. 위와 마찬가지로 두 개의 pivot column을 가지므로 $\text{rk}(\boldsymbol{A})=2$이다.

Reference

Deisenroth, M. P., Faisal, A. A., & Ong, C. S. (2020). Mathematics for machine learning. Cambridge, United Kingdom: Cambridge University Press.