정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
에너지 등분배법칙
열역학 제 2법칙은 자연의 모든 상호작용은 엔트로피가 증가하는 방향으로 일어난다고 말한다. 이 때 로그 함수는 증가함수이기 때문에 자연스럽게 상태수 역시 모든 상호작용에서 증가해야한다는 결론을 내릴 수 있다. 이는 확률적으로 가장 높은 미시 상태에 에너지가 분포한다는 것인 에너지 등분배 법칙에 따르면 바로 그러한 상태로 에너지가 각각의 자유도에 나뉜다는 것이다.