정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
불확실성
불확실성(不確實性)은 완전하지 않거나 알 수 없는 정보를 수반하는 상황이다. 미래에 전개될 상황에 대해 정확한 정보를 얻을 수 없거나 어떤 상황이 발생할 가능성을 명확히 측정할 수 없는 상태를 뜻한다. 즉, 미래의 사건의 예측, 이미 수행된 물리적인 측정, 알 수 없는 사항에 적용된다. 불확실성은 부분적으로 관찰 가능한, 또는 추계학적 환경에서 발생하며, 그 외에도 무지함, 게으름에 기인하기도 한다. 보험, 철학, 물리학, 통계학, 경제학, 금융, 심리학, 사회학, 공학, 계량학, 기상학, 생태학, 정보과학 등 수많은 분야에서 발생한다.