Boltzmann Distribution
Boltzmann 분포는 다양한 문제를 표현하는데 사용이 가능한 분포이다. Gibbs distribution으로 불리기도 한다. Boltzmann 분포는 어떤 시스템에서 특정 상태에 있을 확률을 해당 상태의 에너지와 시스템의 온도로써 표현하게 된다.
처음 Boltzmann 분포에 대한 설명을 보았을 때는 통계적인 의미보다는 열역학적인 문맥에서나 사용하는게 아닌가 생각이 들었지만 통계와 정보이론적인 측면에서도 사용이 가능하다. 에너지나 온도로 표현되는 부분이 반드시 물리화학적인 ‘에너지’나 ‘온도’의 개념에 국한되지 않기 때문이다.
Boltzmann distribution은 다음과 같은 형태로 표현되는 분포를 말한다.
$$p_{i} \propto e^{-\frac{\varepsilon_{i}}{kT}}$$
$p_{i}$는 시스템에서 상태 $i$에 있을 확률, $\epsilon_{i}$는 상태 $i$의 에너지, $k$는 Boltzmann 상수, $T$는 temperature를 의미한다. 통계역학적 의미에서 시스템은 낮은 에너지부터 채워지는 경향이 있음을 전제로 한다. 다시 말해 Boltzmann 분포에서는 에너지가 낮은 에너지를 갖는 상태가 높은 에너지를 갖는 상태보다 더 큰 확률 값을 갖는다. 확률을 $y$라고 생각하고 에너지를 $x$라고 생각하면 자연스럽게 위와 같은 식을 따르는 분포의 pdf는 $x$값이 커질수록 확률이 작아지는 형태가 된다.
두 상태의 확률에 대한 비율을 Boltzmann factor라고하며 이는 두 에너지 차이에만 의존하는 함수가 된다. $$\frac{p_{i}}{p_{j}}=e^{\frac{\varepsilon_{j}-\varepsilon_{i}}{kT}}$$
Definition
Boltzmann분포는 다음과 같이 표현된다.
$$p_{i}=\frac{1}{Q} e^{-\varepsilon_{i} / kT}=\frac{e^{-\varepsilon_{i} / kT}}{\sum_{j=1}^{M} e^{-\varepsilon_{j} / kT}}$$
앞의 형태와 동일하며 차이점은 $Q$의 도입이다. $M$은 시스템에서알 수 있는 모든 상태의 수에 해당하며 summation을 통해 확률이 1이 되도록 만들어주는 normalization denominator $Q$가 된다.
Canonical Partition Function
Boltzmann 분포에서 사용된 normalization에 해당하는 분모 $Q={\sum_{{i=1}}^{{M}}{e^{{-{\varepsilon }_{i}/kT}}}}$를 canonical partition function이라고 한다. Partition function은 configuration integral이라고도 하며 통계역학에서의 모든 partition function의 일반화된 표현이라 보면 된다. 확률에서 partition function이라고 하면 보통 Boltzmann 분포의 normalizing constant를 지칭한다.