정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
엔트로피
엔트로피란 우주 내부 어떤 시스템에서 생기는 유용한 에너지가 무용한 에너지로 변화하는 량의 척도이다. 엔트로피를 계를 구성하는 성분들의 배열의 관점에서 바라보게 된다면, 위치 엔트로피와 열 엔트로피로 분류할 수 있다. 여기서 열 엔트로피는 분자들 사이에서의 에너지 양자의 분포들에 의한 구별가능한 배열을 기준으로 하여 계산된 엔트로피를 말한다.