정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
클로드 섀넌
섀넌은 《통신의 수학적 이론》이라는 논문을 《벨시스템 기술 저널》 1948년 7월과 10월 두 차례에 걸쳐 발표한다. 이 논문에서 그는 확률론을 이용하여 정보를 전송하는 가장 효율적인 방법에 대해 연구하였다. 이 논문은 정보 엔트로피의 개념을 창안하게 한, 정보통신 이론의 기반이 된다. 섀넌은 이 이론을 자연어 처리까지 발전시켜, 영어 문장의 통계적 분석으로 영어 엔트로피의 최댓값과 최솟값을 계산하였다. 이 연구에서 그는 띄어쓰기가 실제로 문장의 불확실성을 감소시킨다는 것을 발견하였다.