정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
통계역학
고전 통계역학은 볼츠만이 처음 정립했다. 이를 이해하기 위해서는 우선 엔트로피에 대한 개념이 필요하다. 엔트로피는 쉽게 말해서 어떠한 계의 무질서도 또는 거시상태에 대응되는 미시상태의 가지수라고 할 수 있다. 예를 들어 주사위 3개를 던지는 계를 생각해보자. 3 주사위 눈의 합이 3인 경우는 각각의 주사위가 모두 1의 눈인 경우만 가능하다. 하지만, 주사위 눈의 합이 6인 경우는 총 10가지 경우가 있다. 따라서 위의 정의에 따라 주사위 눈의 합이 3인 거시상태는 합이 6인 거시상태보다 엔트로피가 낮다고 볼 수 있다. 이렇게 엔트로피가 높을수록 해당하는 거시상태가 나타날 확률은 높아진다. 볼츠만은 물리적인 계의 엔트로피를 계산하여 해당하는 계가 어떤 특정한 거시상태에 있을 확률을 유도하였다. 이에 에너지와 계의 온도를 변수로하는 볼츠만 인자를 도입하였다.