정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
확률
확률(確率)은 어떤 사건이 실제로 일어날 것인지 혹은 일어났는지에 대한 지식 혹은 믿음을 표현하는 방법이며 같은 원인에서 특정한 결과가 나타나는 비율을 뜻하기도 한다. 수학에서는 확률론에서 설명하고 있으며 수학, 통계학, 회계, 도박, 과학과 철학에서 어떤 잠재적 사건이 일어날 경우의 가능성과 이 가능성 안에 있는 복잡한 시스템의 구조에 대한 답을 이끌어내기 위해 사용되고 있다.