정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
열역학 제2법칙
독일의 물리학자 루돌프 클라우지우스는 저온의 물체에서 고온의 물체로 열을 전달시키는 것이 유일한 결과인 과정은 불가능하다고 서술했다.통계역학은 엔트로피가 확률에 의해 지배받는 요소라는 것을 입증한다. 따라서 무질서의 감소가 닫힌계 안에서도 일어날 수 있다. 그러나 이것이 나타날 확률은 매우 작기 때문에 이러한 현상이 나타나더라도 계의 매우 적은 입자들에만 영향을 미치는 일시적인 감소이다.