Jihoon Kim

3.8 Orthogonal Projections

머신러닝에서 다루는 데이터는 대부분 3차원 이상의 고차원데이터로, 사람이 인지할 수 있는 3차원이하의 공간으로는 데이터를 표현하기 어렵다는 문제가 있다. 하지만 데이터의 모든 정보가 중요한 경우는 많지 않다. 따라서, 필요없는 변수는 줄이고 가능한 한 중요한 정보만을 보존하는 변수를 활용하면 고차원의 데이터를 시각화가 가능한 영역까지 축소할 수 있다. 그렇다면 compression loss를 최소화하면서 중요한 정보를 보존하려면 어떻게 해야할까? 이러한 논의를 하기 위해 기초가 되는 projection에 대해 알아보자.

Reinforcement Learning as One Big Sequence Modeling Problem

강화학습은 주로 MDP로 문제 formulation을 한다. MDP는 discrete-time에 대한 stochastic process를 다루는 유용한 도구이다. 생각해보면, sequence modeling도 유사한 점이 있음을 알 수 있다. 이 논문에서는 sequence modeling에서 좋은 성능을 보여주며 de facto standard가 된 Transformer를 강화학습에 적용하려는 시도를 보여준다.

3.7 Inner Product of Functions

내적을 생각하면 개인적으로 가장 먼저 떠오르는 것은 유한차원의 벡터간의 내적으로 이는 앞서 다루었던 길이, 각도, 거리를 정의할 때 사용되었다. 이 때 내적을 정의하는 대상이 유한차원의 벡터가 아닌 무한차원일 때에 대한 내용이 함수의 내적이다.

Simplex

Simplex는 주어진 공간에서의 가장 단순한 polytope로 삼각형이나 사면체의 개념을 일반적인 차원으로 확장한 것이라고 보면 된다.

3.6 Orthogonal Complement

앞서 두 벡터의 직교에 대해 다루었다. 이를 확장해 보면 벡터가 아닌 두 평면이 직교하고 있는 공간을 생각해보자. 방의 모서리 부분을 보면 세 평면이 직교하는 것을 볼 수 있다. 각각의 평면을 벡터공간으로 정의하면 직교하는 벡터공간이 된다. 공간의 직교개념은 기학적 관점에서 차원축소를 이해하는데 중요한 개념이 된다.

Ubuntu에 NVIDIA Driver, CUDA, cuDNN 설치하기

Ubuntu에서 NVIDIA 그래픽카드를 사용할 경우 드라이버, CUDA, CUDNN을 잘 관리해주는게 생각보다 쉽지 않다. 특히, 종종 Ubuntu package를 업데이트했더니 version mismatch로 에러를 보는 경우도 꽤 자주 있었다. 이런 문제를 여러번 겪으면서 시행착오를 줄이기 위해 확실한 설치방법을 남기고자 한다.