정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
물리학의 발전
볼츠만은 엔트로피를 어떠한 상태를 구성하는 분자들의 배열 방법수와 관련지었다. 그는 주어진 상태에 대한 엔트로피가 그 상태에 해당되는 분자들의 배열 방법수의 로그값에 비례함을 보였다. 그런데 어떤 상태에 도달할 확률은 그 상태를 이루는 분자 배열의 방법수에 비례하므로, 결국 엔트로피는 확률의 로그에 비례하는 셈이었다. 엔트로피가 분자 배열 방법수와 확률에 비례하므로 어떤 상태의 무질서함을 나타낼 수도 있다. 즉, 우주의 엔트로피가 항상 증가한다는 것은 자연 상태에서의 여러 반응은 항상 무질서도가 증가하는 방향으로 일어난다는 것으로도 해석될 수 있었다.