정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
정보 이득
머신 러닝에서 이 개념은 X의 상태를 가장 빠르게 좁히기 위해 조사할 속성의 기본 시퀀스를 정의하는 데 사용할 수 있다. 이러한 시퀀스 (각 단계에서 이전 속성 조사의 결과에 따라 다름)를 의사 결정 트리 라고한다. 일반적으로 상호 정보가 높은 속성은 다른 속성보다 선호되어야 한다.
일반적으로, 기대되는 정보 이득은 이전 상태에서 주어진 정보를 갖는 상태로 바뀔 때 정보 엔트로피 H의 변화이다: