정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
확률의 고전적 정의
이 정의는 본질적으로 무차별 원칙의 결론이다. 단위 사건들(elementary events)이 동일한 확률을 배당 받는다면, 단위 사건들 중 한 무리(disjunction)가 발생될 확률은 그 무리(disjunction)의 단위 사건들(elementary events)의 개수를 단위 사건들(elementary events)의 총 개수로 나눈 값이 된다.