정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
맥스웰의 도깨비
Szilárd의 통찰은 1982년 Charles H. Bennett가 확장시켰다. 1960년 Rolf Landauer는 어떠한 측정 방법에 있어 만약 그 측정 방법이 열역학적으로 가역적인 방법이라면 열역학적 엔트로피의 증가가 필요하지 않음을 알았다. 이것은 또한, 열역학적 엔트로피와 정보 엔트로피 사이의 관계로 인해, 기록된 측정은 지워져선 안 됨을 뜻한다. 다른 말로 하면 문의 어느 쪽에 분자가 있어야 하는지 결정하기 위해, 도깨비는 분자의 상태에 관한 정보를 저장해야 된다는 뜻이다. 그러나 Bennett는 도깨비의 정보 저장공간은 꽉 찰 것이고 전에 모았던 정보를 지우기 시작해야만 한다는 것을 보여주었다. 정보를 지운다는 것은 열역학적으로 비가역적인 과정이고 계의 엔트로피를 증가시킨다.