정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
엔트로피
통계역학에서는 엔트로피의 차 뿐만 아니라 엔트로피의 절대적 값을 정의할 수 있다. 확률적 상태 분포를 가지는 어떤 계의 앙상블을 생각하자. 여기서 단일계의 상태(미시적 상태) formula_5의 확률을 formula_6라고 하자. 이 경우, 앙상블의 엔트로피는 다음과 같이 정의한다.
고립된 계의 경우, 통상적으로 모든 미시적 상태의 확률이 같다고 가정한다. 즉 formula_8 (여기서 formula_9는 가능한 미시적 상태의 수)다. 이 경우
다. 여기서 "k" 는 볼츠만 상수다. 이 식은 루트비히 볼츠만이 처음 발견하였다.