정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
정보 엔트로피
정보이론에서 ‘엔트로피’라는 단어를 사용하게 된 이유는 섀넌의 공식이 열역학적 엔트로피의 공식과 상당부분 비슷하기 때문이다. 열역학적 엔트로피 S로서 가장 많이 사용되는 통계열역학에서는 기브스의 엔트로피를 다음과 같이 정의한다.
여기서 "k"는 볼츠만 상수를, 그리고 p는 미시적인 상태의 확률을 의미한다. 기브스엔트로피는 1872년 볼츠만의 연구업적을 뒤이어 조사이어 윌러드 기브스에 의하여 1878년에 정의되었다.
기브스 엔트로피는 또한 거의 변화 없이 양자물리학에서의 노만 엔트로피로도 변형되는데 이는 1927년 존 폰 노이만에의해 정의 소개되었으며 다음과 같이 정의된다
여기서 ρ로 는 양자역학 시스템에서의 밀도 행렬을 나타내며 Tr은 행적을 나타낸다.