Contents

3.1: Norms

“거리"라는 개념은 일상적으로도 자주 사용하는 단어이지만 거리의 개념에 대해 생각해보면 꽤 생각할 것들이 많아진다. 멀고 가깝다는 의미가 하나의 의미로 사용되지 않기 때문이다. 또한 거리는 것은 도착지에서 출발지 벡터의 차이로 정의되므로 거리와 벡터의 크기는 직접적으로 연관이 있다. 벡터의 크기를 정의하는 norm에 대해 알아보자.

Norm

Norm은 다음과 같이 정의된다.

Norm
벡터공간 $V$에서 다음의 함수를 생각해보자. $$\begin{aligned}\lVert \cdot \rVert: V & \rightarrow \mathbb{R} \cr x & \mapsto \lVert x \rVert\end{aligned}$$ 이 함수를 norm이라고 하며 임의의 벡터 $\boldsymbol{x}$에 대해 길이를 $\lVert \boldsymbol{x} \rVert \in \mathbb{R}$로 부여해준다.
$p$-Norm
실수 $p \geqslant 1$일 때, $p$-norm은 다음과 같이 정의된다. $$\lVert \boldsymbol{x} \rVert_{p} = (\lvert x_{1} \rvert^{p} + \lvert x_{2} \rvert^{p} + \cdots + \lvert x_{n} \rvert^{p})^{1/p}$$

참고로, $1$-norm인 경우를 Manhattan norm 또는 taxicab norm이라고 하며 익숙한 $2$-norm은 Euclidean norm이라고 한다. $p=\infty$인 경우는 maximum norm이라고 하며 $\lVert \boldsymbol{x} \rVert_{\infty} = \operatorname{max} \lbrace \lvert x_1 \rvert, \lvert x_2 \rvert, \ldots, \lvert x_n \rvert \rbrace$와 같다.

Properties

Norm은 다음의 성질을 만족한다.

  • Absolutely homogeneous: $\lVert \lambda \boldsymbol{x} \rVert = \lvert \lambda \rvert \lVert \boldsymbol{x} \rVert$
  • Triangle inequality: $\lVert \boldsymbol{x} + \boldsymbol{y} \rVert \leqslant \lVert \boldsymbol{x} \rVert + \lVert \boldsymbol{y} \rVert$
  • Positive definite: $lVert \boldsymbol{x} \rVert \geqslant 0$ and $ \lVert \boldsymbol{x} \rVert = 0 \iff \boldsymbol{x} = 0$

Reference