정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
물리학의 발전
엔트로피 개념은 에너지 개념보다 훨씬 이해하기 힘들었다. 경험적으로는 맞지만 엔트로피 개념을 제안한 클라우지우스에게조차 물리적 의미가 무엇인지 잘 파악되지 않을 정도였다. 엔트로피 개념을 확률적으로 해석함으로써 물리적 의미를 분명하게 만든 사람은 독일의 루트비히 볼츠만이었다.