Jihoon Kim

4.5 Singular Vector Decomposition

Singular Vector Decomposition (SVD)는 보통 선형대수학 수업교재의 후반부에 나온다. 앞서 다룬 Eigendecomposition의 일반화된 형태일뿐만 아니라 선형대수학의 기본적인 개념을 종합해서 사용하기 때문일 것이다.

4.4 Eigendecomposition and Diagonalization

행렬의 eigenvalue와 eigenvector를 아는 것은 행렬이 만드는 변환에 대한 다양한 정보를 제공한다. 따라서 어떠한 행렬을 eigenvalue와 eigenvector를 볼 수 있는 형태로 분해할 수 있다면 유용하게 사용할 수 있을 것이다. 여기서는 정사각행렬에 적용할 수 있는 eigendecomposition에 대해 알아본다.

Don't Decay the Learning Rate, Increase the Batch Size

모델의 학습과정에서 learning rate을 줄이는 것은 실용적으로 자주 사용되는 테크닉이다. 직관적으로는 시간이 지나면서 optimal point에 가까워질 것이므로 학습 step을 줄이는 것으로 볼 수 있다. 이러한 상황에서 이 논문은 batch size를 키우는 것이 동일한 효과가 있음을 다양한 실험으로 보여준다.

4.3 Cholesky Decomposition

모든 연산이 그렇지는 않지만 스칼라에서 사용하는 많은 연산들은 행렬의 연산에 대응한다. 역원, 항등원은 물론 제곱과 같은 연산도 행렬에 대응하는 개념이 있다. 그렇다면 제곱근은 어떨까? 한 행렬을 같은 두 행렬의 곱으로 분해할 수 있을까? 이것이 Cholesky decomposition이 다루는 주제이다.

Frechet Inception Distance

생성모델을 훈련시킬 때 어려운 점 중 하나는 현재의 모델이 얼마나 “진짜"같은 이미지를 만드는 지를 정량적으로 평가하는 것이다. “진짜같음"은 많은 의미를 내포하므로 수치화하기가 어려우나 학습을 위해서는, 그리고 평가를 위해서는 반드시 계량할 수 있는 방법이 필요하다. 이런 상황에서 사용할 수 있는 도구 중 하나가 Frechet Inception Distance(FID)이다.

Motion Capture

Motion capture는 모션에 대한 정보를 수집하는 것으로 어떠한 대상의 위치정보(position)와 회전정보(orientation)을 기록하는 것이다. 줄여서 mocap으로 말하기도 한다.