정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
맥스웰의 도깨비
열역학 제2법칙은 같은 온도를 갖는 두 물체가 자발적으로 서로 온도가 달라지는 것(하나는 온도가 높아지고, 하나는 온도가 낮아지는 것)은 불가능하다고 한다. 통계학적으로 불가능하기 때문이다(이때 두 물체는 서로 접촉해 있고 외부로부터는 고립되어 있다). 다시 말해서, 열역학 제2법칙은 고립계의 엔트로피는 결코 감소하지 않는다는 것이다.