정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
작은 바른틀 앙상블
작은 바른틀 앙상블은 고립계의 상태들로 구성되어 있다. 분석은 간단하다. 어떤 계가 고립되어 있다고 가정하면, 앙상블의 각 계는 공통적으로 일정한 에너지("E")를 가지게 된다. 계는 한 에너지 "E"에 대해 여러 가지의 다른 미시상태를 가질 수 있다. 열역학의 기본 가정에 따르면 시스템이 같은 에너지를 가진 각각의 미시상태들에 있을 확률은 모두 같다. 그러므로 만약 formula_1가 접근 가능한 미시상태의 수라면, 작은 바른틀 앙상블에서 임의적으로 선택된 한 시스템이 한 미시상태에 있을 확률은 단순히 formula_2이다. 여기서 엔트로피에 대한 식이 유도된다(아래).