Shannon entropy


## Informational Entropy
**확률분포의 모양과 정보의 양으로 나타내는 특징값**
$$I(X) = -lob_b(P(X))$$
### Shannon entropy Types
|Title|
|:-:|
|[bit](https://texonom.com/bit-58b91a808413486eb6a74830930f4eb4)|
|[nit](https://texonom.com/nit-ae0b89b076374543bdbb9fc1c2e4e4b7)|
|[dit](https://texonom.com/dit-6874093613cb4f5ea851b0f2964020da)|
### log reason
정보량을 합치면 각 사건의 정보량을 합친 것과 같아야
### 평균 정보량
$$H(x) = \Sigma_iP(x_i)(-log_b(P(x_i)))$$


> [정보 엔트로피(information entropy) - 공돌이의 수학정리노트 (Angelo's Math Notes)](https://angeloyeo.github.io/2020/10/26/information_entropy.html)





