정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
로그
총합은 용기 안의 기체 입자들의 위치와 같이 모든 가능성에 대한 i 값들의 합이다. 덧붙여서 p는 상태 i 가 가지는 확률이고 k는 볼츠만 상수이다. 비슷하게, 엔트로피는 정보 이론에서 정보의 측정을 뜻한다. 만약 메시지를 각각의 수령인이 받을 확률이 1/N 이라면 정보의 양은 각각의 사람에게 log2(N) 바이트이다.