확률이 낮을수록 어떤 정보일지는 불확실하게 될 때 엔트로피가 높다고 표현하나요?
정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
정보 엔트로피
정보 엔트로피의 정의를 이해하기 위해서, 이산균등분포의 엔트로피를 계산해 보자. 표본 공간이 총 "n"개의 서로 다른 값들로 이루어진다면, 확률 질량 함수는
이다.
탐지 이론
이러한 탐지과제에서 정보처리의 두 가지 단계가 있다:
이 이론에 따르면 관찰하는 신호의 자극은 뇌에서의 신경활동을 발생시킨다. 따라서 신호가 없는 경우보다 신호가 있는경우에 평균적으로 뇌에 좀 더 많은 감각증거 또는 신경증거가 있게 된다. 만일 충분한 신경활동이 있어서 신경증거(formula_1)가 역치(Threshold)를 넘으면 관찰자는 '있음'으로 결정하고 만일 넘지 못한다면 '없음'으로 결정한다. 때로는 환경 속의 무작위 변동성과 관찰자 자신의 감각 채널과 뇌안의 신경 노이즈로부터 무작위 변동성이 나타나 그 결과로 신경증거(formula_1)가 역치를 넘을 수 있다. 보통 신호와 노이즈사이의 강도 차이가 작을수록 오류확률이 증가하는데 이는 무작위성으로 인한 신경증거(formula_1)의 변동량이 신호에 내재된 에너지의 양에 비해 상대적으로 증가하기 때문이다.
하플로타입
이 모호함을 해결하는 유일한 방법은 직접 서열을 결정하는 것이다. 그러나 개체별 샘플정보를 이용하면 이 모호한 상태의 특정한 하플로타입의 확률을 추정하는 것이 가능하다.
엔트로피
위와 같이 분류한 엔트로피를 계의 관점에서 본 알짜엔트로피 변화를 나타낼 때 이용할 수 있다.
정보 엔트로피
기술적인 관점에서 보면 정보는 발생 가능한 사건이나 메시지의 확률분포의 음의 로그로 정의할 수 있다. 각 사건의 정보량은 그 기댓값, 또는 평균이 섀넌 엔트로피인 확률변수를 형성한다. 엔트로피의 단위는 정의에 사용된 로그의 밑이 무엇인지에 따라 섀넌(shannon), 내트() 또는 하틀리()를 사용한다. 단, 섀넌의 경우 보통 비트(bit)로 표현한다.
주위
또한 온도가 높을 때에는 이미 무질서도가 매우 큰 상태이므로 계에서 화학반응이 일어나고 주위의 엔트로피변화는 크지 않다. 그러나 온도가 낮을 때에는 무질서도의 변화 비율이 크게 된다. 즉,
정보 이득
때때로 정보 이득 비율이 대신 사용된다. 이는 다수의 고유한 값을 갖는 속성을 고려하지 않고 의사 결정 트리를 편향시킨다. 그러나 정보 값이 매우 낮은 속성은 부당한 이점을 얻는 것으로 보인다.
정보 엔트로피
확률분포의 로그는 엔트로피의 단위로 사용하기에 매우 유용한데 이는 독립적인 소스(source)들에 대해 그 값을 더할 수 있기 때문이다. 예를 들어 동전을 1개 던지면 엔트로피는 1 섀넌이고, 개의 동전을 던질 때는 섀넌이다. 이 2의 거듭제곱일 때, 일반적으로 개의 값 중 하나를 취하는 변수를 표현하기 위해서는 비트가 필요하다. 모든 값의 발생 확률이 동일하면, (섀넌으로 표현된) 엔트로피는 비트의 개수와 동일하게 된다. 비트의 개수와 섀넌이 동일한 경우는 모든 결과의 발생 확률이 동일한 경우로 한정된다. 만약 하나의 사건이 다른 사건보다 발생할 확률이 높다면 그 사건에 대한 관측이 제공할 수 있는 정보는 적다. 반대로 희귀한 사건을 관측하면 더 많은 정보를 얻을 수 있다. 확률이 낮은 사건에 대한 관측은 덜 발생할 것이므로 순 효과는 불균등하게 분포한 자료로부터 얻어진 보다 작은 엔트로피가 된다. 하나의 사건이 확실하게 일어나는 경우라면 엔트로피는 0 이 된다. 섀넌 엔트로피는 소스(source)의 확률분포가 알려져 있을 때 이 모든 고려사항을 수치화한다. 관측된 사건들의 의미(메시지의 의미)는 엔트로피를 정의할 때 중요하지 않다. 엔트로피는 특정한 사건이 일어날 확률만을 고려함으로써 사건의 배후에 존재하는 확률분포에 대한 정보를 캡슐화할뿐 사건 자체의 의미는 포함하지 않는다.
은닉 마르코프 모델
이 코드에서, codice_1는 초기 확률 분포로서 철수가 영희에게 첫 번째 전화를 했을 때 은닉 마르코프 모델이 어떤 상태에 있을 것이라는 그녀의 믿음을 의미한다. (그녀는 철수가 사는 지역이 주로 비가 온다는 사실을 알고 있다) codice_2이다. codice_3는 마르코프 연쇄에서 행해지는 날씨의 변화를 나타낸다. 위의 예시에서 오늘 비가 오면 내일 맑을 확률은 30%이다. codice_4는 매일 철수가 어떤 행동을 할지를 나타낸다. 만약 비가 온다면, 철수는 50%의 확률로 집을 청소할 것이고, 그렇지 않고 날씨가 맑다면 60%의 확률로 산책을 나갈 것이다.
소수 정리
개념적으로, 소수 정리는 어떤 큰 수 formula_1에 가까운 정수 하나를 무작위로 골랐을 때 그 정수가 소수일 확률은 formula_2 에 근사한다는 것을 보여 준다. (이때 formula_3은 자연로그이다.) 이것은 또한 소수의 분포는 더 큰 수로 갈수록 적어진다는 것을 의미한다.
정보 엔트로피
로그 함수는 독립적인 불확실성에 가산성을 제공하는데 사용된다. 예를 들어, 크기 formula_17의 이산 표본 공간과 크기 formula_18의 이산 표본 공간에서, 서로 독립이며 균등분포를 따르는 두 확률변수를 동시에 측정할 경우, 그 총 엔트로피는
이 된다. 즉, 서로 독립인 두 확률변수의 엔트로피는 각 확률변수의 엔트로피의 합과 같다.
루트비히 볼츠만
플랑크의 말을 인용하면 "엔트로피와 확률이 로그로 연결된다는 것을 처음 진술된 것은 볼츠만의 기체분자이론에서였다."
그 유명한 엔트로피 S에 관한 식은
정보 이득
속성값 각각에 대해 결과 속성에 대한 고유한 분류를 만들 수 있는 경우 상호 의존 정보는 속성에 대한 총 엔트로피와 같다. 이 경우 전체 엔트로피에서 빼는 상대 엔트로피는 0이다.
주성분 분석
차원 축소를 위해 사용된 PCA가 데이터가 가진 정보의 대부분을 보존한다는 주장은 실제를 오도하는 것이다. 실제로 신호 모델에 그 어떤 가정도 없다면 PCA는 차원이 축소될 때 손실되는 정보의 양을 줄여주는데 아무런 도움이 되지 못한다. 여기서 정보의 양은 정보 엔트로피를 이용해 측정된 값이다.
작은 바른틀 앙상블
엔트로피는 다음과 같이 정의된다.
딥 러닝
여기서, formula_2 는 학습률(learning rate)을 의미하며, formula_3는 비용함수(cost function)를 의미한다.
비용함수의 선택은 학습의 형태(지도 학습, 자율 학습 (기계 학습), 강화 학습 등)와 활성화함수(activation function)같은 요인들에 의해서 결정된다.
예를 들면, 다종 분류 문제(multiclass classification problem)에 지도 학습을 수행할 때, 일반적으로 활성화함수와 비용함수는 각각 softmax 함수와 교차 엔트로피 함수(cross entropy function)로 결정된다.
softmax 함수는 formula_4 로 정의된다, 이때, formula_5 는 클래스 확률(class probability)을 나타내며, formula_6 와 formula_7 는 각각 유닛 formula_8 로의 전체 입력(total input)과 유닛 formula_9 로의 전체 입력을 나타낸다.
교차 엔트로피는 formula_10 로 정의된다, 이때, formula_11 는 출력 유닛 formula_8 에 대한 목표 확률(target probability)을 나타내며, formula_5 는 해당 활성화함수를 적용한 이후의 formula_8 에 대한 확률 출력(probability output)이다.
정보 엔트로피
이와 같은 경우 중 가장 극도의 사례는 양면을 가지고 있으나 절대로 뒷면이 나오지 않는 동전을 사용할 경우이다. 이때에는 불확실성이 전혀 없으므로 (항상 앞면이 나오므로) 엔트로피는 0이다. 즉, 이러한 동전 던지기의 시행결과는 아무런 정보도 전달하지 않는다.
엔트로피 (동음이의)
엔트로피의 다른 뜻은 다음과 같다.
불확실성
불확실성(不確實性)은 완전하지 않거나 알 수 없는 정보를 수반하는 상황이다. 미래에 전개될 상황에 대해 정확한 정보를 얻을 수 없거나 어떤 상황이 발생할 가능성을 명확히 측정할 수 없는 상태를 뜻한다. 즉, 미래의 사건의 예측, 이미 수행된 물리적인 측정, 알 수 없는 사항에 적용된다. 불확실성은 부분적으로 관찰 가능한, 또는 추계학적 환경에서 발생하며, 그 외에도 무지함, 게으름에 기인하기도 한다. 보험, 철학, 물리학, 통계학, 경제학, 금융, 심리학, 사회학, 공학, 계량학, 기상학, 생태학, 정보과학 등 수많은 분야에서 발생한다.
정보 엔트로피
정보이론에서 ‘엔트로피’라는 단어를 사용하게 된 이유는 섀넌의 공식이 열역학적 엔트로피의 공식과 상당부분 비슷하기 때문이다. 열역학적 엔트로피 S로서 가장 많이 사용되는 통계열역학에서는 기브스의 엔트로피를 다음과 같이 정의한다.
여기서 "k"는 볼츠만 상수를, 그리고 p는 미시적인 상태의 확률을 의미한다. 기브스엔트로피는 1872년 볼츠만의 연구업적을 뒤이어 조사이어 윌러드 기브스에 의하여 1878년에 정의되었다.
기브스 엔트로피는 또한 거의 변화 없이 양자물리학에서의 노만 엔트로피로도 변형되는데 이는 1927년 존 폰 노이만에의해 정의 소개되었으며 다음과 같이 정의된다
여기서 ρ로 는 양자역학 시스템에서의 밀도 행렬을 나타내며 Tr은 행적을 나타낸다.
밴 (컴퓨팅)
밴(때로는 하틀리 (기호 Hart)또는 디트 (십진 정보 단위)라고도 부르는)은 로그 단위 를 측정하는 정보 또는 엔트로피를 기반으로,십진법을 기반으로 하고 10의 지수적으로 커지는 정보 단위이다.
포도주 테이스팅
과학적인 연구에 의하면 특정한 정보의 제공은 기대효과를 불러 일으키며 인지에도 영향을 미친다. 예를 들어 사람들은 더 비싼 포도주가 저렴한 것에 비해 더 품질이 좋고 우수한 맛을 낼 것이라고 기대한다. 비싼 가격의 포도주이라고 속이고 서빙을 할 경우, 반대의 경우보다 항상 더 좋은 평가를 받았다는 연구 결과가 있다. 프랑스의 통계학자인 Frédéric Brochet는 중급의 보르도 포도주의 두 개의 병에 담았는데, 하나는 저렴한 포도주의 라벨이 다른 하나는 비싼 포도주의 라벨이 붙은 병이었다. 테스터들은 비싼 병에 담긴 것은 ‘나무향과 복잡성, 그리고 조화로움’ 등으로 포도주를 묘사했으나, 저렴한 병에 담긴 것은 ‘여운이 짧고 가볍다’ 라고 표현했다.
레니 엔트로피
양자 정보 이론에서, 레니 엔트로피()는 통상적인 엔트로피의 일반화이다. 하나의 매개변수 formula_1을 가지며, 레니 엔트로피의 formula_2 극한은 통상적인 엔트로피이다.
요동정리
요동정리(搖動定理, fluctuation theorem; FT)는 통계역학에서 출발한 것으로, 열역학적 평형(i.e. 최대 엔트로피) 상태가 아닌 계의 엔트로피가 주어진 시간이 흐름에 따라 증가할지 또는 감소할지 그 상대 확률을 다루는 정리이다. 열역학 제2법칙에서 고립계의 엔트로피는 평형에 도달할 때까지 계속 증가한다고 예측하고 있으나, 제2법칙 역시 통계적 법칙임이 통계역학의 성과로 밝혀짐에 따라 고립계의 엔트로피가 자발 감소할 확률은 언제나 0이 아니어야 한다. 요동정리는 이 확률을 정량적으로 다루는 것이다.
부호율-변형 이론
부호율-변형 이론은 손실압축 정보 이론의 주요 줄기이다. 이 이론은 주어진 변형값인 formula_1를 가지면서 보낼 수 있는 최소의 부호율(엔트로피 또는 정보)인 formula_2을 알려주고 있다.
엔트로피
엔트로피란 우주 내부 어떤 시스템에서 생기는 유용한 에너지가 무용한 에너지로 변화하는 량의 척도이다. 엔트로피를 계를 구성하는 성분들의 배열의 관점에서 바라보게 된다면, 위치 엔트로피와 열 엔트로피로 분류할 수 있다. 여기서 열 엔트로피는 분자들 사이에서의 에너지 양자의 분포들에 의한 구별가능한 배열을 기준으로 하여 계산된 엔트로피를 말한다.
야코프 베르누이
이 책의 가장 핵심적인 부분은 제4부다. 여기서 베르누이는 비로소 확률을 처음으로 정의하는데 그 정의에 따르면, 확률이란 ‘확실성이 어느 정도인가’를 말하는 것이다. 확률과 함께 제4부에서 중심이 되는 내용은 나중에 ‘약대수의 법칙(weak law of large numbers)’이라고 불리게 되는 중요한 정리와 그 증명이다. 이 정리는 확률 이론의 역사에서 최초로 등장한 극한 정리일 뿐 아니라 수학사 전체를 통틀어 보더라도 가장 먼저 등장한 극한 이론이었다. 이 정리를 베르누이가 어떻게 제시하고 증명했는지 베르누이 자신의 글을 통해 살펴보면 그가 생각한 정리는 여러 세부적인 면에서 오늘날 교과서에서 볼 수 있는 정리와 차이가 나며, 증명 또한 오늘날의 밋밋하고 단순한 증명과는 매우 다름을 확인할 수 있을 것이다.
주위
이때 계의 엔트로피 변화와 주위의 엔트로피 변화를 모두 알기 어렵기 때문에 반응의 자발성을 알기 위해서 새로운 상태함수인 H-TS로 정의되는 자유에너지 G를 생각하자.
정보
정보는 항상 변화하고 있으며, 그 속도가 더욱 빠르게 진행된다. 개인이 하나의 정보를 선택하게 되면 변화에 의해서 불확실성이 커지게 되고, 정보의 가치가 적어질 수 있다는 이유 때문에 선택된 정보보다 선택되지 않은 정보가 더 가치가 있는 것으로 불안감을 갖게 한다. 맥도너(A.M.McDonough)는 '정보란 사실 내지 자료에 지적인 처리를 가하여 얻어진 지식이다.'라고 정의하고 있다. 정보는 자료에 특정 의미가 주어진 것으로서 직접 행동에 영향을 미치게 한다. 모든 정보는 자료이나, 모든 자료는 모든 정보라고 할 수 없다. 포레스터(J.W.Forrester)는 '경영은 정보를 행동으로 연결시키는 과정(Process)이다.'고 하였다. 이는 경영상의 의사결정에 정보가 중심이 된다는 것이다.
창조과학
또한, 열역학 제 2법칙에 따라 하나의 계는 시간이 지날수록 점점 엔트로피가 높아져야 하는데 생물은 외부 환경보다 엔트로피가 낮으므로 진화로 만들어지는게 불가능하다는 창조과학 지지자들의 변종 주장도 있다. 이러한 변종 주장은 "열역학 제 2법칙에 따르면 점점 저등생물 또는 점점 퇴화해간다는 식"으로 진화와 열역학 법칙에 대한 기본적인 지식마저 없는 경우가 대부분이다.
통계학
기댓값(expected value)은 통계에서는 평균과 같다고 생각하면 된다. 가능한 값마다 확률을 곱해서 모두 더한 것이다.
산포도(degree of scattering)는 자료가 흩어져 있는 정도를 나타낸다. 범위, 분산, 표준편차 등.
주위
이때 우변의 U+PV를 엔탈피(enthalpy) H라고 정의한다. 이때 엔탈피는 어떤 물질이 가지고 있는 고유한 총 에너지 함량이라고도 생각할 수 있다. 그렇기 때문에 화학 반응이 일어나면 엔탈피도 변하게 된다. 계의 엔탈피가 감소하는 반응을 발열반응, 그리고 계의 엔탈피가 증가하는 반응을 흡열반응이라 한다.
확률
확률(確率)은 어떤 사건이 실제로 일어날 것인지 혹은 일어났는지에 대한 지식 혹은 믿음을 표현하는 방법이며 같은 원인에서 특정한 결과가 나타나는 비율을 뜻하기도 한다. 수학에서는 확률론에서 설명하고 있으며 수학, 통계학, 회계, 도박, 과학과 철학에서 어떤 잠재적 사건이 일어날 경우의 가능성과 이 가능성 안에 있는 복잡한 시스템의 구조에 대한 답을 이끌어내기 위해 사용되고 있다.
엔트로피
엔트로피()는 열역학적 계의 유용하지 않은 (일로 변환할 수 없는) 에너지의 흐름을 설명할 때 이용되는 상태 함수다. 통계역학적으로, 주어진 거시적 상태에 대응하는 미시적 상태의 수의 로그로 생각할 수 있다. 엔트로피는 일반적으로 보존되지 않고, 열역학 제2법칙에 따라 시간에 따라 증가한다. 독일의 물리학자 루돌프 클라우지우스가 1850년대 초에 도입하였다. 대개 기호로 라틴 대문자 "S"를 쓴다.
얽힘 엔트로피
양자 정보 이론에서, 얽힘 엔트로피()는 순수 상태의 양자 얽힘에 의한 정보량을 나타내는 물리량이다.
라플라스의 도깨비
만일 우주가 닫힌 계라면 켈빈의 주장은 옳을지도 모른다. 그러나 우리의 열려있고 확장되는 우주에서 데이비드 레이저(David Layzer)는 가능한 최대의 엔트로피는 실제의 엔트로피보다 더 빠르게 증가하고 있다는 것을 보여주었다. 가능한 최대의 엔트로피와 현재의 엔트로피 간의 차이점은 부의 엔트로피라고 불리고, 이는 복잡하고 안정된 정보구조에 대한 가능성을 열어놓는다. 아래는 데이비드 레이저의 개념이다.
물리학의 발전
볼츠만은 엔트로피를 어떠한 상태를 구성하는 분자들의 배열 방법수와 관련지었다. 그는 주어진 상태에 대한 엔트로피가 그 상태에 해당되는 분자들의 배열 방법수의 로그값에 비례함을 보였다. 그런데 어떤 상태에 도달할 확률은 그 상태를 이루는 분자 배열의 방법수에 비례하므로, 결국 엔트로피는 확률의 로그에 비례하는 셈이었다. 엔트로피가 분자 배열 방법수와 확률에 비례하므로 어떤 상태의 무질서함을 나타낼 수도 있다. 즉, 우주의 엔트로피가 항상 증가한다는 것은 자연 상태에서의 여러 반응은 항상 무질서도가 증가하는 방향으로 일어난다는 것으로도 해석될 수 있었다.
물리학의 발전
엔트로피 개념은 에너지 개념보다 훨씬 이해하기 힘들었다. 경험적으로는 맞지만 엔트로피 개념을 제안한 클라우지우스에게조차 물리적 의미가 무엇인지 잘 파악되지 않을 정도였다. 엔트로피 개념을 확률적으로 해석함으로써 물리적 의미를 분명하게 만든 사람은 독일의 루트비히 볼츠만이었다.
클로드 섀넌
섀넌은 《통신의 수학적 이론》이라는 논문을 《벨시스템 기술 저널》 1948년 7월과 10월 두 차례에 걸쳐 발표한다. 이 논문에서 그는 확률론을 이용하여 정보를 전송하는 가장 효율적인 방법에 대해 연구하였다. 이 논문은 정보 엔트로피의 개념을 창안하게 한, 정보통신 이론의 기반이 된다. 섀넌은 이 이론을 자연어 처리까지 발전시켜, 영어 문장의 통계적 분석으로 영어 엔트로피의 최댓값과 최솟값을 계산하였다. 이 연구에서 그는 띄어쓰기가 실제로 문장의 불확실성을 감소시킨다는 것을 발견하였다.
에너지 등분배법칙
이와 같은 논의가 가능한 것은 formula_19개의 입자가 존재하는 계에서 formula_19이 매우 클 때 계를 이루는 분자 전체의 시간에 대한 평균은 모듬의 평균과 같다는 것에서 기인한다. 바로 이 가정이 바로 에르고딕성이다. 에르고딕성은 철저히 통계적인 접근이라고 할 수 있다. 따라서 계의 거시적인 측면에서 열역학적 성질을 구하게 하는 장점이 있지만 실제로 정량적인 계산하는 데에는 큰 도움이 되지 못한다. 그러므로 모듬의 평균을 실제로 계산하기 위해서는 모듬에서 각 에너지 상태의 상대적인 빈도수 또는 확률에 대한 정보가 있어야 한다. 이를 위하여 통계 열역학에서는 선험적 동등 확률의 원리("principle of equal a priori probability")라는 매우 강력한 가정을 받아들인다. 이 원리는 서로 다른 양자 상태를 나타내는 formula_24, formula_25 에 대해서 두 상태의 에너지가 같다면 두 양자 상태가 일어날 확률이 같다는 것을 의미한다.
랜덤 포레스트
훈련 단계에서 트리의 각 노드는 들어오는 데이터 포인트들을 최적으로 분리하기 위해 정보 획득량()을 측정 기준으로 사용한다. 구체적으로 각 노드에서 정보 획득량(신뢰, confidence)을 최대화하는 것이다. 정보 획득량은 다음과 같이 정의된다.
여기서, formula_22는 한 노드에 도달하는 데이터 집합을, formula_23는 이 노드의 formula_24, 왼쪽 혹은 오른쪽 방향 자식 노드로 들어가는 데이터 집합을 나타낸다(formula_22와 formula_23의 관계식은 훈련과 테스트 과정 참조). 또한, formula_27와 formula_28는 각각 데이터 집합에 속한 데이터 개수와 섀넌 엔트로피()를 가리킨다.
위 수식에서 볼 수 있듯이, 정보 획득량을 최대화하기 위해서는 결국 섀넌 엔트로피가 최소화 되어야 한다. 섀넌 엔트로피는 확률 변수의 조합으로 정보원(여기서는 formula_22)에 대한 불확실성을 보여주는 것으로 아래와 같이 정의된다.
여기서 formula_31는 전체 부류() 집합을 나타내며, formula_32는 각 부류에 대한 확률 질량 함수이다.
과학철학
한가지 방법은 귀납법이 불확실하다는 사실을 인정하는 것이지만, 최소한, 사례가 늘면 일반 진술의 가능성도 높아진다. 따라서 닭은 아침에 다음과 같이 결론을 내릴 수 있다. 확실치는 않지만, 농부가 내일 아침에 다시 음식을 제공 할 가능성이 있다고. 그러나 주어진 증거가 일반론을 얼마나 정확한 확률로 정당화하는지는 알기 어렵다. 이러한 난관에서 벗어나는 한 가지 방법은 과학이론에 대한 모든 믿음이 주관적이거나 개인적이라고, 올바른 추론이라 함은 단지 시간이 지남에 따라 증거가 주관적인 믿음을 변화시키는 것이라고 하는 것이다.
추정
추정(推定)은 입력된 자료가 불완전하거나 불확실하더라도 사용할 수 있는 계산된 결과의 근삿값이다.
엔트로피
여기서 열 엔트로피는 계와 주위 모두에 존재하지만, 계를 제외한 모든 곳을 지칭하는 주위에서 위치 엔트로피의 변화는 너무 광범위하게 이루어지므로 그 변화를 무시할 수 있고, 주위가 갖는 엔트로피 변화에 가장 큰 영향을 미치는 것은 온도, 즉 열 엔트로피이다. 이 때문에 주위의 엔트로피 변화를 열 엔트로피 변화라고 할 수 있다. 그리고 이와 같은 관점에서 계에서 열 엔트로피변화는 분명 존재하긴 하지만 위치 엔트로피의 변화가 더욱 계의 엔트로피변화에 큰 영향을 주기 때문에 계의 엔트로피 변화를 위치 엔트로피의 변화라 할 수 있다.
은닉 마르코프 모델
해당 방법론은 가능한 모든 은닉 변수들의 나열중 가장 확률이 높은 것을 찾는 문제로 귀결되는데, 이는 비터비 알고리즘으로 해결될 수 있다.
시간
시간이 왜 과거에서 미래로만 직선적으로 흘러가는지에 대한 설명은 여러 가지가 있지만 그 중 한 가지는 바로 열역학 제2법칙, 즉 엔트로피(무질서도)의 증가이다. 열역학 제2법칙에 의하면 고립계에서는 항상 엔트로피가 증가하는 방향으로 변하게 되고 결국에는 엔트로피가 극대값을 가지는 평형상태에 도달하게 된다. 열역학 제2법칙에 의하면 엔트로피가 증가함에 따라 시공간의 에너지 분포가 변하게 되면 그 전의 상태로 돌아가지 않으며 커지는 쪽이 자동으로 시간이 흘러가는 미래가 된다. 이렇게 나타나는 시간의 방향성을 열역학적 시간의 화살이라 하는데 우리가 경험하는 시간의 방향성은 열역학적 시간의 방향성과 같기 때문에 시간이 거꾸로 흐르지 않는다.
효소
엔트로피란 화학 반응계에서 구성 성분들의 무작위성 또는 무질서도를 나타내는 것이다. 화학 반응계에서는 이런 엔트로피의 변화를 ΔS로 표시한다. 무작위성이 증가될 때는 ΔS가 양의 값이 되고 무작위성이 감소할 때는 ΔS가 음의 값이 된다.
엔트로피
통계역학에서는 엔트로피의 차 뿐만 아니라 엔트로피의 절대적 값을 정의할 수 있다. 확률적 상태 분포를 가지는 어떤 계의 앙상블을 생각하자. 여기서 단일계의 상태(미시적 상태) formula_5의 확률을 formula_6라고 하자. 이 경우, 앙상블의 엔트로피는 다음과 같이 정의한다.
고립된 계의 경우, 통상적으로 모든 미시적 상태의 확률이 같다고 가정한다. 즉 formula_8 (여기서 formula_9는 가능한 미시적 상태의 수)다. 이 경우
다. 여기서 "k" 는 볼츠만 상수다. 이 식은 루트비히 볼츠만이 처음 발견하였다.
물리학의 발전
엔트로피에 대한 볼츠만의 통계적 해석 덕분에 엔트로피 개념은 열 현상을 넘어 일반화되었다. 처음에 엔트로피는 열의 출입이 한 방향으로만 일어나는 경향을 설명하기 위해 도입되었다. 그러나 볼츠만 연구 이후에는 모든 물리적 상태에 적용 가능해진 개념이 되었다.
정보 엔트로피
그러나 여러 학문분야에 걸쳐 종합적인 분석을 해보면, 열역학적 엔트로피와 정보 엔트로피 사이에서는 연결고리가 만들어질 수 있다. 사실 1957년 제인스()의 의견에 의하면, 열역학은 섀넌의 정보 이론의 ‘응용’으로 간주될 수 있다. 열역학에서의 엔트로피는 시스템의 더욱 자세한 미시적인 상태를 정의하기 위해 더 필요한 섀넌 정보 양의 추정으로 해석될 수 있다. 이는 고전열역학의 미시변수란 개념으로는 설명될 수 없는 것이었다. 예를 들면 시스템에 열을 가하는 것은 열역학적 엔트로피를 증가하는 것이다. 왜냐하면 이것은 미세 상태의 가능한 가짓수를 증가시키기 때문이다. 제임스 클러크 맥스웰은 이론적으로 시스템의 열역학적 엔트로피를 개별적인 분자 상태에 대한 정보를 사용함으로써 감소시킬 수 있다고 주장하였다. 이는 맥스웰의 도깨비란 이름으로 널리 알려져 있다. 그러나 란다우어(Landauer)와 그의 동료들은 총 엔트로피는 줄지 않는다는 것을 보이며 이 역설을 해결하였다.
열역학 제2법칙
독일의 물리학자 루돌프 클라우지우스는 저온의 물체에서 고온의 물체로 열을 전달시키는 것이 유일한 결과인 과정은 불가능하다고 서술했다.통계역학은 엔트로피가 확률에 의해 지배받는 요소라는 것을 입증한다. 따라서 무질서의 감소가 닫힌계 안에서도 일어날 수 있다. 그러나 이것이 나타날 확률은 매우 작기 때문에 이러한 현상이 나타나더라도 계의 매우 적은 입자들에만 영향을 미치는 일시적인 감소이다.
스핀 아이스
이 물질의 가장 특이한 성질은 현재의 기술로 최대한 온도를 내려도(30mK) 엔트로피가 0이 되지 않는다는 점(잔류 엔트로피)이다. 이것은 열역학 제3법칙에 위배되는 것이다. 또한 현재 작동 이론이 규명이 안 된 상온 초전도체에서 frustration이 중요한 역할을 하고 있다고 추측하는 사람들이 있다.
정보 엔트로피
앞에서 언급한 동전던지기 사례를 다시 생각해 보자. 만약 우리가 동전의 특정 면이 나올 확률을 알고 있다고 가정해 보자. (반드시 앞, 뒷면이 나올 확률이 같을 필요는 없다.) 동전 던지기를 시행했을 때 결과값의 엔트로피는 공정한 동전일 때 가장 높게 나온다. (앞, 뒷면이 나올 확률이 각각 1/2로 같을 경우이다.) 이러한 경우가 불확실성을 가장 극대화 시키고 결과값을 예상하기가 가장 어렵다는 것을 의미한다. 이때의 동전던지기 결과값은 1비트에 해당하는 정보를 가지게 된다.
블랙홀
한 가지 혼란스러울 수 있는 점은 보통의 엔트로피는 계의 부피와 선형의 관계를 갖는 크기 성질인 데 반해 블랙홀의 엔트로피는 그 부피가 아닌 면적에 비례한다는 사실이다. 이 특이함을 설명하기 위해 헤라르뒤스 엇호프트와 레너드 서스킨드는 시공간상의 어떤 부피 안에서 일어나는 일은 그 부피의 경계의 데이터로 설명될 수 있다는 홀로그래피 원리를 제안했다.
정보 엔트로피
직관적인 이해를 위해, 우리가 ABCD 4가지 문자로 이루어져있는 메시지를 전달한다고 생각해보자. 이 메시지는 ‘ABADDCAB’이다. 정보 이론은 우리에게 메시지를 전달할 가장 작은 정보량을 계산하는 방법을 제공한다. 만약 4개 글자가 모두 확률이 동일하다면 (25%), A는 00, B는 01, C는 10, D는 11과 같이 2비트로 (바이너리에서) 인코딩하는 수 밖에 방법이 없다. 이제 A가 70%, B가 26%, C와 D가 2%의 확률로 발생한다고 가정하자. 우리는 각각의 문자에 가변 길이 코드를 부여할 수 있다. 우리가 순차적인 2비트의 1 (11)을 받지 않았다면, 1을 받는 것은 다음 비트까지 조사하라는 것을 의미한다. 이 경우에 A는 0 (1비트), B는 10 (2비트), C와 D는 각각 110, 111 (3비트)로 인코딩 될 수 있다. 70%의 경우, 우리는 1비트만 전송하며 26%의 경우 2비트를, 나머지 4%의 경우에만 3비트를 전송한다. 평균적으로, 2비트 이하의 정보를 전송하기 때문에 엔트로피는 감소한다.(A와 B를 합치면 96%라는 높은 출현빈도가 나오기 때문이다)
무작위 조기 검출
RED는 통계적 확률을 기반으로 평균 대기열 크기 및 폐기 (또는 ECN과 함께 사용되는 경우 표시) 패킷을 모니터링한다. 버퍼가 거의 비어 있으면 들어오는 모든 패킷이 허용된다. 대기열이 커짐에 따라 들어오는 패킷을 삭제할 확률도 증가한다. 버퍼가 꽉 찼을 때 확률은 1에 도달하고 들어오는 모든 패킷이 삭제된다.
기댓값 최대화 알고리즘
상황에 따라서는, 기댓값 최대화 알고리즘을 다음의 두 최대화 단계로 보는 것이 편리하다. "q"는 미관측 데이터 "z"를 나타내는 임의의 확률 분포, "p"(· |"x";"θ")는 관측 데이터 "x"가 주어졌을 때의 조건부 확률 분포, "H"를 엔트로피, 그리고 "D"를 쿨백-라이블러 발산이라고 할 때, 다음 식을 고려한다.
엔탈피
엔탈피()는 열역학적 계에서 뽑을 수 있는 에너지다. 내부 에너지와, 계가 부피를 차지함으로부터 얻을 수 있는 에너지(부피와 압력의 곱)의 합이다. 대기압이나 수압과 같이 압력에 둘러싸인 계를 다룰 때 쓴다. 기호는 대개 라틴 대문자 "H"이다.
정보 엔트로피
간혹, 위 정의에서 자연로그 대신 이진로그 formula_9를 사용하는 경우가 있다. 이 경우 정보 엔트로피의 단위는 비트이고, 자연로그의 경우에는 단위 내트(nat)를 사용한다.
정보 엔트로피
한편, 정보 엔트로피가 커지는것은 역시 변수(불확실성)가 증가하는 것을 의미하므로, 변수를 제어함으로서 불확실성이 줄어드는 것은 결국 정보 획득을 의미하게 된다.
언론 자유 지수
각 연도의 자료는 각 나라의 (순위)와 점수를 포함한다. 낮은 점수를 가진 국가일수록 더 높은 언론 자유도를 가지고 있다고 평가된다. 2002년 평가에서 최저점은 음수가 될 수 있다.
엔트로피
엔트로피는 계의 자유 에너지를 결정짓는 요소 가운데 하나이다. 온도는 평형 상태에 있는 계에서만 정의되는 값이므로, 이와 같은 엔트로피의 열역학적인 정의는 오직 평형 상태에 있는 계에서만 성립한다. 반면 통계역학적인 엔트로피의 정의는 모든 계에 적용된다 (아래 참고). 따라서 엔트로피의 보다 근본적인 정의로는 통계역학적인 정의를 꼽을 수 있다. 엔트로피의 증가는 흔히 분자들의 무질서도의 증가로 정의되어 왔으며, 최근들어 엔트로피는 에너지의 "분산"으로 해석되고 있다.
볼츠만 두뇌
볼츠만은 우리가 관찰하는 엔트로피가 낮은 계는 더 높은 엔트로피 계에서 임의의 요동으로 발생한 것이라고 주장했다. 또, 평형 상태에서 추계학에 따라 엔트로피 요동이 발생한다. 일반적인 요동은 매우 작고 소량의 조직만 관찰되나, 희귀한 경우 매우 큰 변동이 생겨날 때가 있다. 대형 요동은 희귀하나 우주의 거대한 크기를 생각할 경우 우리가 요동의 결과로 나타났다고 생각되는 경우, 선택편향에 의해 인간 중심 원리로 인해 우리가 우주를 관측할 수 있다는 가설이 생긴다.
네른스트 열 정리
네른스트 열 정리가 말하는 것은 절대온도 0 으로 온도가 접근할수록 화학적, 물리적인 변환을 위한 엔트로피의 변화량은 0으로 접근한다는 것이다. 이것은 수학적으로 다음과 같이 쓸 수 있다.
작은 바른틀 앙상블
작은 바른틀 앙상블은 고립계의 상태들로 구성되어 있다. 분석은 간단하다. 어떤 계가 고립되어 있다고 가정하면, 앙상블의 각 계는 공통적으로 일정한 에너지("E")를 가지게 된다. 계는 한 에너지 "E"에 대해 여러 가지의 다른 미시상태를 가질 수 있다. 열역학의 기본 가정에 따르면 시스템이 같은 에너지를 가진 각각의 미시상태들에 있을 확률은 모두 같다. 그러므로 만약 formula_1가 접근 가능한 미시상태의 수라면, 작은 바른틀 앙상블에서 임의적으로 선택된 한 시스템이 한 미시상태에 있을 확률은 단순히 formula_2이다. 여기서 엔트로피에 대한 식이 유도된다(아래).
통계역학
고전 통계역학은 볼츠만이 처음 정립했다. 이를 이해하기 위해서는 우선 엔트로피에 대한 개념이 필요하다. 엔트로피는 쉽게 말해서 어떠한 계의 무질서도 또는 거시상태에 대응되는 미시상태의 가지수라고 할 수 있다. 예를 들어 주사위 3개를 던지는 계를 생각해보자. 3 주사위 눈의 합이 3인 경우는 각각의 주사위가 모두 1의 눈인 경우만 가능하다. 하지만, 주사위 눈의 합이 6인 경우는 총 10가지 경우가 있다. 따라서 위의 정의에 따라 주사위 눈의 합이 3인 거시상태는 합이 6인 거시상태보다 엔트로피가 낮다고 볼 수 있다. 이렇게 엔트로피가 높을수록 해당하는 거시상태가 나타날 확률은 높아진다. 볼츠만은 물리적인 계의 엔트로피를 계산하여 해당하는 계가 어떤 특정한 거시상태에 있을 확률을 유도하였다. 이에 에너지와 계의 온도를 변수로하는 볼츠만 인자를 도입하였다.
불확실성
불확실성이란 표현을 경제학에 처음 사용한 것은 프랭크 나이트이다. 프랭크 나이트는 불확실성(uncertainty)과 위험(risk)이 제대로 정의되지 않았다는 점을 들어 불확실성과 위험을 다른 것으로 보았다. 위험(risk)이란 단어는 일상적인 대화에서부터 경제적인 토론에 이르기까지 그 사용범위가 지나치게 넓다는 이유에서다. 그에 반해 불확실성이라는 단어는 경제학의 이익 개념 이론에서 먼저 등장했기 때문에 경제적인 담론에서는 불확실성이란 단어를 사용하는 것이 위험이란 단어를 사용하는 것보다 오해의 소지를 줄일 수 있다고 설명했다. 또한 위험은 사건이 일어난다는 확률이고 불확실성은 확률을 전혀 모르는 상태로 분류했다.
열역학 제3법칙
양자역학에 따르면 절대 영도에서 계는 반드시 최소의 에너지를 가지는 상태, 즉 바닥 상태에만 존재할 수 있다. 이러한 최소의 에너지를 가질 수 있는 상태가 한가지 뿐이라면 엔트로피는 0이 된다. 한편 보다 일반적인 표현으로
불확실성
철학에서 불확실성은 확실성이 결여된 상태로 확실성은 논리적, 물리적, 수학적으로 예상할 수 있는 상태를 뜻한다. 철학에서는 고틀로프 프레게가 처음으로 확실성이란 상태에 의문을 가졌고 수학자 쿠르트 괴델이 가장 간단한 산수를 제외하고는 모든 것이 확실성을 갖는다고 주장했다. 이에 반해 위험은 장차 일어날 수도 있는 원치 않는 사건 중에 예상할 수 있는 사건을 뜻한다.
귀인 편향
이처럼 처음에 가졌던 선입견이나 신념을 지지하거나 뒷받침하는 정보에 더 비중을 실어주게 되고, 이것에 반대되는 정보를 가볍게 보려는 경향은, 신념이나 선입견이 편견일 경우에는 더욱 현저하게 나타난다. 신념이 확실한 증거이거나 유효한 확증 실험에 의해 뒷받침된 경우라면, 신념에 맞지않는 정보에 더 무게를 둔다고 해서 잘못된 방법으로 길을 헤매지는 않을 것이다. 만약, 정말로 자신의 가설을 부정할 증거에 대하여 무시한다면, 합리와 맹목을 구분하는 마지노선을 넘어 버리게 된다.
유의 확률
p-value는 관찰된 데이터가 귀무가설과 양립하는 정도를 0에서 1 사이의 수치로 표현한 것이다. p-value가 작을수록 그 정도가 약하다고 보며, 특정 값 (대개 0.05나 0.01 등) 보다 작을 경우 귀무가설을 기각하는 것이 관례이나 여기에는 여러 가지 문제들이 있다.
정보 엔트로피
그러므로 획득을 증가시켜 불확실성을 감소시키는것은 변수가 줄어드는것으로 볼수있는데 이것은 결과적으로 엔트로피의 크기를 감소시는 정보 이득과 관계있다.
엔트로피
엔트로피에는 열역학적 정의와 통계학적인 정의, 두 가지의 관련된 정의가 있다. 역사적으로, 고전 열역학적 정의가 먼저 발전하였다. 고전 열역학적인 관점에서, 그 이론은 원자나 분자 같은 수많은 성분들로 이루어져 있고, 학설의 안정성은 그러한 성분들의 평균적인 열특성으로 설명된다.
이론을 구성하는 성분의 세부적인 성분들은 직접적으로 보이지 않는다. 그러나 그 특성은 온도, 압력, 엔트로피, 열용량과 같은 눈으로 볼 수 있는 평균적인 지표들에 의해 설명된다. 그 이론의 특성에 관한 고전적인 정의는 평형 상태임을 가정하였다. 엔트로피의 고전 열역학적 정의는 최근 비평형 열역학의 영역으로까지 확대되었다. 이후 엔트로피를 포함한 열특성은 눈으로 볼 수 없는 미시세계에서의 움직임에 대한 정역학적인 관점에서 새롭게 정의되었다. 그 예로 처음에는 기체로 여겨졌지만 시간이 지난 후에 광자, 음자, 스핀과 같은 양자 역학적으로 생각되는 뉴턴 입자가 있다. 이 이론의 특성에 대한 통계학적 설명은 고전적인 열역학을 사용하여 이론의 특성을 정의하는 것이 몇몇 변수의 영향을 받는 이론의 최종적인 상태를 예측하는데 있어서 점점 신뢰할 수 없는 예측 기술이 되어감으로 인하여 필수적인 것이 되었다.
고전적 열역학에서는 엔트로피 "S"의 절대적 값은 정의할 수 없고, 대신 그 상대적 변화만 정의한다. 열적 평형을 이뤄 온도가 formula_1인 계에 열 formula_2를 가하였다고 하자. 이 경우 엔트로피의 증가는 다음과 같이 정의한다.
이 식을 적분하여 유한한 엔트로피 차이를 정의한다.
창조주의에 대한 반론
근본주의적 시각에서 가지는 진화에 대한 오해는 너무나 많지만, 그중 대표적인 것 몇가지만을 정리하자면 다음과 같은 것이 있다. 오해가 아닌 것은 (O), 사실에 기반한 것은 (*), 단순히 용어를 이해하지 못한 것은 (X), 전제부터 틀린 것은 (XX)로 표시한다.과학에서 이론이 갖는 의미와 일상에서 사용하는 이론적이라는 단어를 섞어쓸 경우 나타나는 문제점으로, 과학에서의 이론과 법칙은 거의 비슷한 신뢰도가 있으며 그 중 수식으로 표현되는 것을 법칙, 포괄성이 있는 넓은 범주의 지식을 이론이라 칭하는 것이다. 가설이 검증되고, 수십만번의 검증과정을 거치고 포괄성을 지녀야만 이론이 된다. 즉 이 주장은 잘못된 단어들을 조합한 것에 불과하다.진화의 과정에 필요한 "우연"이라는 단어는 역시 과학의 용어인 "무작위성"을 두고 하는 말인 경우가 많으며, 이는 일상에서 사용하는 우연의 의미와는 다르다. 진화는 메커니즘이 있고 각각의 메커니즘이 관찰되었으며, 실제 진화 현상 자체도 관찰이 가능한, 관찰 가능한 자연현상이다. 즉, 이 질문은 진화와 "과학주의"의 일부를 혼동해서 나타나는 질문에 불과하다.진화의 확률은 그냥 계산할 수 있는 것이 아니다. 단백질을 이루는 아미노산들의 종류나, 이를 코딩하는 코돈의 수를 곱해서 구하는 계산은 사실 진화의 확률이 아니라, 길가다가 단백질을 하나 발견했는데, 그게 저 단백질이었을 확률이다. 진화의 확률을 계산하기 위해서는 모델이 필요한데, 이는 멀티버스를 기반으로 한 쿤닌의 계산법과 같은 방식들이 존재하며, 그 모델 안에서 의미가 있는 것이다. 그 계산법에서 사용한 "현재의 방식"대로 진화되었을 확률을 구하는 것은 그만큼 많은 종류의 우주를 가정했기에 가능한 것으로, 같은 방식으로 한 사람의 출생과 성장, 사망에도 아주 낮은 확률이 필요하게 된다. 심지어는 확률이 낮다고 해도, 이는 일어나지 못하는 것을 의미하는 것이 아닌 것이다. 즉, 이 질문은 수학에 대한 기본적 이해가 부족해서 나타나는 질문이라고 볼 수 있다.적자생존은 진화에 큰 영향을 주는 원리이지만 이는 적자가 생존한다는 의미가 아니라 생존한 자가 적자라는 의미이다. 진화와 약육강식은 아무런 관련이 없으며, 약육강식은 먹이사슬에서 언급되기는 하나 그마저도 잘 사용되지 않는 고전적 단어이다. 앞에서 설명했듯, 적자생존은 "생존"과 "번식"을 성공한 자가 "적자"가 되는 것을 의미하기에 진화는 약자와 강자의 구분을 확실하게 하지 않는다.
밀도범함수 이론
기술적으로, 공간상의 어떤 점에서 함수 값을 구할때 모든공간의 정보를 필요로한 경우 이를 "논로컬(non-local)"하다고 말하고 해당점의 정보만 필요한 경우를 국소적()이라고 한다. 위의 퍼텐셜에서는 외부요인에 의한 퍼텐셜은 local혹은 non-local할 수 있고, 하트리 퍼텐셜은 확실히 non-local하며, local density approximation을 사용했을때는 교환-상관 퍼텐셜은 local하고 generalized gradient approximation을 사용했을 경우, 즉, 1차미분 기여도를 포함했을 때에는 semi-local하다고 한다.
사전 확률
사전 확률은 일반적으로 실험하는 대상에 대해 잘 알고 있는 전문가가 선택하거나(informative prior), 혹은 전문적인 정보가 없는 무정보적 분포(uninformative prior)로 주어진다. 또한 특정한 가능도 분포에 대해서는 켤레 사전 확률(conjugate prior)을 선택하여 계산적인 이점을 얻을 수 있다.
정보 이득
머신 러닝에서 이 개념은 X의 상태를 가장 빠르게 좁히기 위해 조사할 속성의 기본 시퀀스를 정의하는 데 사용할 수 있다. 이러한 시퀀스 (각 단계에서 이전 속성 조사의 결과에 따라 다름)를 의사 결정 트리 라고한다. 일반적으로 상호 정보가 높은 속성은 다른 속성보다 선호되어야 한다.
일반적으로, 기대되는 정보 이득은 이전 상태에서 주어진 정보를 갖는 상태로 바뀔 때 정보 엔트로피 H의 변화이다:
열역학
'어떠한 계, 혹은 계의 어떠한 상태에서든지, 엔트로피는 절대영도에서 최소이다'라고 표현할 수도 있으며, '유한번의 과정을 통해 절대영도에 도달하는 것은 불가능하다'라는 표현도 사용할 수 있다.
확률 예보
확률 예보는 크고 작은 확률을 입증하는 다른 방법에 의존하는 일기 예보의 기술이다. 이것은 크고 작은 발생한 같은 사건을 명확하게 주어진 정보로부터 예측하는 것과 달리 결정론적인 예보 기술을 사용한다. 기술로 사건을 예측하는 시도와 예보의 불확실한 정보를 확률 예보는 가지고 있다. 확률 예보는 전형적으로 유래된 몇몇의 수치 모델과 처음의 상태보다 약간 변화된 수치 모델들을 사용한다. 이 기술은 종종 앙상블 예보 또는 EPS라 불린다. 만약 모든 초기 모델을 설정 할 수 있다면 각각의 확률을 조합하여, 그것들의 사건을 확실히 예측 할 수 있는 많을 경우의 수의 따라, 주어진 사건의 실제적인 상태를 계산할 수 있다. 실제로 일기 예보가 들은 확실한 날씨의 결과들을 가져오기 위해 대개 20가지의 경우의 수를 추측하려고 노력한다. 이러한 목적을 위한 두 가지 일반적인 기술은 breeding vertors(BV), singular vectors(SV)가 있다. 이러한 기술로 전체적인 분포를 산출하는 것은 실제적인 예보분포와 똑같다고 보증 할 수 없다. 그러나 이러한 확률적인 정보는 초기의 상태를 고르는데에 중요점이 있다. 확률적인 해석이 없는 앙상블 예보 시스템들과 상이한 점은 다른 수치들의 날씨 예보 시스템들의 의해 생산된 예보들을 모으는 것을 포함한다.
과학적 방법
과학에서 측정은 항상 불확정성에 대한 평가를 동반한다. 불확정성은 종종 요구되는 양에 대한 반복적인 측정으로 평가된다. 즉, 반복하여 측정된 양을 평가하여 계산함으로써 불확정성의 정도를 파악할 수 있다. 예를 들어 반복하여 측정된 양의 평균을 측정 값으로 정하는 것을 통해 오차의 범위를 정할 수 있다. 불확정성의 정도를 나타내는 지수로 측정불확도가 있다.
기온 감률
환경 감률이 건조와 습윤 단열 감률 사이에 있는 경우 공기는 조건부로 불안정하다. 불포화된 공기는 LCL 또는 CCL로 상승하기에 충분한 부력이 없으며 양 방향으로 약한 수직 변위에서 안정적이다. 공기덩어리가 포화된 경우 불안정하고 LCL 또는 CCL로 상승하여 대류 억제 반전 층으로 은해 정지되거나 상승이 계속되면 습기가 많은 대류(DMC, Deep,Moist Convection)가 이어지거나 자유대류고도(LFC, Free Convective Layer)을 지나 평형고도(EL, Equilibrium Level)에 도달한다.
불투명도
불투명도가 최저이면 모든 빛이 통과가 가능하여 투명(transparent)한 것이고, 일부의 빛만 통과가 가능하면 반투명(translucent)한 것이다. 불투명도가 최대에 달해 아무것도 통과할 수 없을 때 불투명(opaque)하다고 한다. 불투명한 물질은 모든 복사를 전달하지 않고 반사 또는 분산 또는 흡수해 버린다. 거울과 카본 블랙은 모두 불투명한 물체이다. 같은 물체라도 빛의 진동수에 따라 불투명도는 달라진다. 예컨대 건물의 벽은 바깥을 볼 수 없게 빛을 차단하지만, 건물 안에서도 라디오 방송을 들을 수 있다. 이를 과학적으로 서술하면 건물 벽은 가시광선에 대해서는 불투명하고, 전파에 대해서는 투명하다.
맥스웰의 도깨비
열역학 제2법칙은 같은 온도를 갖는 두 물체가 자발적으로 서로 온도가 달라지는 것(하나는 온도가 높아지고, 하나는 온도가 낮아지는 것)은 불가능하다고 한다. 통계학적으로 불가능하기 때문이다(이때 두 물체는 서로 접촉해 있고 외부로부터는 고립되어 있다). 다시 말해서, 열역학 제2법칙은 고립계의 엔트로피는 결코 감소하지 않는다는 것이다.
조건부 무작위장
즉 예를 들면, 조건부 무작위장은 문자 a, b, c 가 연속적으로 나타났을 때, 문자 x, y, z 를 연속적으로 부여할(나타날) 확률을 의미한다고 할 수 있다. 여기서 y는 마르코프 성질을 만족하여야 한다. 그런데 만약 x의 집합과 y의 집합이 한정되어 있다면, 이 구조는 그래프 구조를 형성하게 된다. 일반적으로는 체인() 그래프 구조를 형성한다고 한다.조건부 무작위장 formula_5는 방향이 없는() 그래프 formula_6 혹은 마르코프 무작위장으로 간주할 수 있다. 만약, 입력 시퀀스에서 조건부 독립을 가정할 수 있다면, 이론적으로 그래프의 구조는 여러 가지 형태를 나타낼 수 있다. 하지만 응용에서는 일반적으로 formula_7에 해당되는 노드는 간단한 체인()의 형태를 나타내는 경우가 많다. 조건부 무작위장은 은닉 마르코프 모델(HMM, Hidden Markov Model)에 비하여 변수 독립성 조건이 필요 없는 장점이 있다고 한다. 또한 조건부 무작위장은 최대 엔트로피 마르코프 모델(MEMM, Maximum Entropy Markov Model)에 비하여 변수 치우침(bias)이 없는 장점이 있다고 한다. 다음은 조건부 무작위장의 정의이다.formula_6는 그래프 구조 이고, formula_9로서, formula_7는 그래프 formula_11의 정점()을 나타낸다고 하고 formula_12는 간선()이라고 하자. 만약 랜덤 변수 formula_13에 대하여 랜덤 변수 formula_14가 그래프에서 마코프 성질을 나타낸다면, 즉, formula_15 라면 formula_16는 조건부 랜덤 필드가 된다. (여기서 formula_17는 formula_18와 formula_19는 서로 이웃이라는 의미)효율적인 추론은 조건부 무작위장의 훈련 시 혹은 새로운 입력에 대한 레이블을 예측할때 매우 중요하다. 추론에 있어 크게 2가지 문제를 생각할 수 있다.
합리적 기대
만약 정부 정책에 대한 신뢰도가 높다면, 합리적 기대가 달성될 가능성이 높아진다. 예를 들어, 정부가 내년에 물가를 낮출 것이라고 발표한다면, 합리적 기대를 하는 사람들은 그에 맞게 자신의 기대 인플레이션을 조절하며, 기업들은 정부의 발표에 맞게 가격을 조정할 것이다. 반면에, 정부 정책에 대한 신뢰도가 낮다면, 사람들은 정부의 목표 인플레이션과 다른 기대 인플레이션을 설정하게 되며, 이로 인해 체계적인 오차가 발생하게 된다.
에너지 등분배법칙
열역학 제 2법칙은 자연의 모든 상호작용은 엔트로피가 증가하는 방향으로 일어난다고 말한다. 이 때 로그 함수는 증가함수이기 때문에 자연스럽게 상태수 역시 모든 상호작용에서 증가해야한다는 결론을 내릴 수 있다. 이는 확률적으로 가장 높은 미시 상태에 에너지가 분포한다는 것인 에너지 등분배 법칙에 따르면 바로 그러한 상태로 에너지가 각각의 자유도에 나뉜다는 것이다.
범용 부호
데이터 압축에서 범용 부호()는 양의 정수를 구분자 없이 서로 구별되는 이진 부호로 대응시키는 접두 부호이며, 그 중 정수의 실제 확률 분포와 상관 없이 분포가 단조적이면 (즉 모든 정수 formula_1에 대해 formula_2이 성립) 부호 길이의 기댓값이 최적 부호 길이의 기댓값보다 최대 상수배보다 작은 것을 가리킨다. 특히 두 기댓값의 비율의 한계가 부호의 정보 엔트로피의 함수로 주어지며, 엔트로피가 무한대로 접근하면 함수값이 1이 될 때 그 부호를 점근적으로 최적이라고 한다.
정보물리
열역학적 엔트포이와 정보이론적 엔트로피 사이의 중요한 유일성을 이해하는데 하나의 근원이 되는 쉬운 이해 방법은 다음과 같다.:
확률의 고전적 정의
이 정의는 본질적으로 무차별 원칙의 결론이다. 단위 사건들(elementary events)이 동일한 확률을 배당 받는다면, 단위 사건들 중 한 무리(disjunction)가 발생될 확률은 그 무리(disjunction)의 단위 사건들(elementary events)의 개수를 단위 사건들(elementary events)의 총 개수로 나눈 값이 된다.
은닉 마르코프 모델
그러므로, 두 단계의 모델은 독립적인 조절을 (1) 전체적인 전이 행렬의 밀도와 (2) 어느 전이가 가능할 지에 대한 상태의 밀도에 대해 가능하게 한다. 어느 특정 상황이 더 일어 날 지를 무시함을 가정해도 두 가지 경우에 이것은 실행된다. 만약 이 정보를 모델에 추가하는 것이 바람직하다면 확률 벡터 는 직접적으로 결정 될 수 있다. 만약 이 상대적 확률들에 확신이 적다면, 비대칭 가 에 대한 사전 분포로 쓰일 수 있다. 즉, 단일 모수 를 가지는 대칭 디리클레 분포를 사용하는 대신에(동치로, 모든 값이 인 벡터를 가지는 일반 디리클레), 어떤 상태가 더 혹은 덜 선호 되는 가에 따라 보다 다양하게 크거나 작은 값들을 가지는 일반적인 디리클레를 사용하는 것이다.
상호의존정보
확률 이론 과 정보 이론 에서 두 개의 무작위 변수 의 상호의존정보(또는 상호 정보, Mutual information , MI)는 두 변수 사이의 상호 의존성을 측정 한 것이다. 보다 구체적으로 말하면 , 다른 무작위 변수를 통해 하나의 무작위 변수에 대해 얻어진 "정보량"( 섀넌과 같은 단위 , 더 일반적으로 비트라고 부름)을 정량화(계량화) 한다. 상호 정보의 개념은 무작위 변수의 엔트로피의 개념과 복잡하게 연관되어 있으며, 무작위 변수의 "정보량"을 정의하는 정보 이론의 기본 개념이다.
정보의 단위
컴퓨팅 및 통신에서, 정보의 단위 수용량의 기준은 데이터 스토리지 시스템 또는 서로 다른 용량 사이의 통신 채널이었다. 정보 이론, 단위의 정보 또한 측정하는 정보 또는 엔트로피를 이용한 임의 변수이다.
정보 엔트로피
무손실 압축은 압축된 메시지를 복원함으로써 원래 메시지를 온전히 복원할 수 있음을 의미한다. 무손실 압축된 메시지는 원본 메시지와 정보량은 같지만 더 적은 문자를 가진다. 많은 정보량은 높은 엔트로피를 가지고 있다는 말과 같다. 중복성이 거의 없다는 뜻이다. 개략적으로 말해서, 섀년의 소스 코딩 정리는 무손실 압축이 문자 1비트가 1비트 이상의 정보를 포함하도록 할 수는 없지만, 어떤 코딩 방법에 의해 문자 1비트당 1비트 이하만큼의 정보를 포함하도록 할 수 있다고 말한다. 비트당 메시지의 엔트로피와 메시지 길이의 곱은 전체 메시지가 얼마나 많은 정보를 담고 있는지를 알려준다.
잠재 디리클레 할당
예를 들어 [양자역학, 힉스 입자, 맥스웰 방정식, 상대성 이론, 불확정성 원리]등의 단어들이 많이 쓰인 문서와 [셰익스피어, 톨스토이, 파우스트, 1984]등의 단어들이 많이 쓰인 문서가 있다고 해보자. 우리는 첫번째 문서가 물리학에 관련된 내용이고, 두번째 문서가 문학에 관련된 내용으로 추측할 수 있다. 그 이유는 우리는 문서에 들어가 있는 단어들이 해당 해당 주제들을 표현하고 있음을 알기 때문이다. 이러한 사전 정보가 없다면 주제를 예측할 수 없다. 하지만 사전정보가 없어도 단어들과 주제들은 연관성이 있다. 주제는 의미나 인식으로 결정되는 것이 아니고, 지도 학습으로 라벨링된 단어들의 가능도로 결정된다.
턴스톨 부호화
턴스톨 부호화()는 컴퓨터 과학과 정보 이론에서 무손실 데이터 압축을 위한 엔트로피 부호화의 한 형태이다.
휴리스틱 이론
트버스키와 카너먼(Tversky & Kahneman, 1973)은 가용성 휴리스틱과 관련된 다음과 같은 실험을 했다. 피 실험자들에게 1분 동안 네 페이지 분량의 소설을 보여주고 아래의 질문을 했다.
실험 결과 피 실험자들은 1번 질문에 평균적으로 13.4개라고 답하였고, 2번 질문에는 4.7개라고 답하였다.
응답자들의 예측 결과는 논리적으로 맞지 않는다. ing로 끝나는 단어는 떠올리기가 쉽고, 여섯 번째가 n인 단어는 상대적으로 잘 생각나지 않기 때문에 전자가 더 많다고 생각하기 쉽다. 그러나 철자가 7개인 단어 중 ing로 끝나는 단어는 여섯 번째 문자가 반드시 n이다. 그러므로 합리적으로 판단한다면 ①번 질문의 답은 ②번 질문의 답 안에 포함되기 때문에, ①번 질문의 답은 ②번 질문의 답과 같거나 더 적을 수밖에 없다. 이것은 사람들이 기억에 잘 떠오르는, 즉 가용성이 높은 정보를 가지고 판단했기 때문에 판단의 오류가 일어난 것이다.
공정성 이론
자신의 투입-산출 비율이 타인의 투입-산출 비율보다 적을 경우에 발생하고, 과소보상의 경우에는 분노와 불만족을 경험한다. 경제적 보상, 사회적 배경, 유사성의 정도 등을 비교하여 자신이 불리하면 참지 못하며 불만을 나타낸다. 이와 같은 과소 보상 시 과대 보상에 비해 불공정에 대한 효과가 크게 나타나는 공정성 인식의 비대칭성이 나타난다. 트버츠키와 카네만에 의한 전망 이론에 따르면 사람들이 손실을 회피하려는 경향이 있기 때문에 자신이 잃은 것을 자신이 얻은 것에 비해 더 크게 생각하기 때문이다.
엔트로피
계와 주위가 갖는 엔트로피는 다음과 같이 표현할 수 있다
로그
총합은 용기 안의 기체 입자들의 위치와 같이 모든 가능성에 대한 i 값들의 합이다. 덧붙여서 p는 상태 i 가 가지는 확률이고 k는 볼츠만 상수이다. 비슷하게, 엔트로피는 정보 이론에서 정보의 측정을 뜻한다. 만약 메시지를 각각의 수령인이 받을 확률이 1/N 이라면 정보의 양은 각각의 사람에게 log2(N) 바이트이다.
맥스웰의 도깨비
Szilárd의 통찰은 1982년 Charles H. Bennett가 확장시켰다. 1960년 Rolf Landauer는 어떠한 측정 방법에 있어 만약 그 측정 방법이 열역학적으로 가역적인 방법이라면 열역학적 엔트로피의 증가가 필요하지 않음을 알았다. 이것은 또한, 열역학적 엔트로피와 정보 엔트로피 사이의 관계로 인해, 기록된 측정은 지워져선 안 됨을 뜻한다. 다른 말로 하면 문의 어느 쪽에 분자가 있어야 하는지 결정하기 위해, 도깨비는 분자의 상태에 관한 정보를 저장해야 된다는 뜻이다. 그러나 Bennett는 도깨비의 정보 저장공간은 꽉 찰 것이고 전에 모았던 정보를 지우기 시작해야만 한다는 것을 보여주었다. 정보를 지운다는 것은 열역학적으로 비가역적인 과정이고 계의 엔트로피를 증가시킨다.