확률이 낮을수록 어떤 정보일지는 불확실하게 될 때 엔트로피가 높다고 표현하나요?
정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
정보 엔트로피
정보 엔트로피의 정의를 이해하기 위해서, 이산균등분포의 엔트로피를 계산해 보자. 표본 공간이 총 "n"개의 서로 다른 값들로 이루어진다면, 확률 질량 함수는
이다.