정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
물리학의 발전
엔트로피에 대한 볼츠만의 통계적 해석 덕분에 엔트로피 개념은 열 현상을 넘어 일반화되었다. 처음에 엔트로피는 열의 출입이 한 방향으로만 일어나는 경향을 설명하기 위해 도입되었다. 그러나 볼츠만 연구 이후에는 모든 물리적 상태에 적용 가능해진 개념이 되었다.