정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
정보 엔트로피
직관적인 이해를 위해, 우리가 ABCD 4가지 문자로 이루어져있는 메시지를 전달한다고 생각해보자. 이 메시지는 ‘ABADDCAB’이다. 정보 이론은 우리에게 메시지를 전달할 가장 작은 정보량을 계산하는 방법을 제공한다. 만약 4개 글자가 모두 확률이 동일하다면 (25%), A는 00, B는 01, C는 10, D는 11과 같이 2비트로 (바이너리에서) 인코딩하는 수 밖에 방법이 없다. 이제 A가 70%, B가 26%, C와 D가 2%의 확률로 발생한다고 가정하자. 우리는 각각의 문자에 가변 길이 코드를 부여할 수 있다. 우리가 순차적인 2비트의 1 (11)을 받지 않았다면, 1을 받는 것은 다음 비트까지 조사하라는 것을 의미한다. 이 경우에 A는 0 (1비트), B는 10 (2비트), C와 D는 각각 110, 111 (3비트)로 인코딩 될 수 있다. 70%의 경우, 우리는 1비트만 전송하며 26%의 경우 2비트를, 나머지 4%의 경우에만 3비트를 전송한다. 평균적으로, 2비트 이하의 정보를 전송하기 때문에 엔트로피는 감소한다.(A와 B를 합치면 96%라는 높은 출현빈도가 나오기 때문이다)