정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
엔트로피
엔트로피는 계의 자유 에너지를 결정짓는 요소 가운데 하나이다. 온도는 평형 상태에 있는 계에서만 정의되는 값이므로, 이와 같은 엔트로피의 열역학적인 정의는 오직 평형 상태에 있는 계에서만 성립한다. 반면 통계역학적인 엔트로피의 정의는 모든 계에 적용된다 (아래 참고). 따라서 엔트로피의 보다 근본적인 정의로는 통계역학적인 정의를 꼽을 수 있다. 엔트로피의 증가는 흔히 분자들의 무질서도의 증가로 정의되어 왔으며, 최근들어 엔트로피는 에너지의 "분산"으로 해석되고 있다.