엔트로피는 평균 정보량을 의미하나요?
정보 엔트로피
그러므로 엔트로피는 ‘어떤 상태에서의 불확실성’, 또는 이와 동등한 의미로 ‘평균 정보량’을 의미한다. 이 용어를 직관적으로 이해하기 위해 정치에서의 선거를 생각해보자. 보통, 그러한 선거는 우리가 선거 결과를 모르기 때문에 실시한다. 즉, 선거 결과는 상대적으로 ‘불확실’하다. 그리고 실제로 선거를 시행하고 선거 결과를 얻는 것은 우리에게 ‘새로운 정보’를 제공한다. 이 말은 선거 결과에 대한 엔트로피가 크다는 말과 같다. 이제, 첫 번째 선거가 실시되고 난 후, 두 번재 선거가 실시되었다고 생각해보자. 첫 번째 선겨 결과를 이미 알기 때문에, 우리는 두 번째 선거 결과를 예측할 수 있고 두 번째 선거 결과는 우리에게 더 이상 우리에게 아무런 정보를 제공하지 않는다. 이 경우, 우리는 두 번째 선거 결과의 엔트로피가 첫 번째 것보다 작다
밴 (컴퓨팅)
밴(때로는 하틀리 (기호 Hart)또는 디트 (십진 정보 단위)라고도 부르는)은 로그 단위 를 측정하는 정보 또는 엔트로피를 기반으로,십진법을 기반으로 하고 10의 지수적으로 커지는 정보 단위이다.
클로드 섀넌
섀넌은 《통신의 수학적 이론》이라는 논문을 《벨시스템 기술 저널》 1948년 7월과 10월 두 차례에 걸쳐 발표한다. 이 논문에서 그는 확률론을 이용하여 정보를 전송하는 가장 효율적인 방법에 대해 연구하였다. 이 논문은 정보 엔트로피의 개념을 창안하게 한, 정보통신 이론의 기반이 된다. 섀넌은 이 이론을 자연어 처리까지 발전시켜, 영어 문장의 통계적 분석으로 영어 엔트로피의 최댓값과 최솟값을 계산하였다. 이 연구에서 그는 띄어쓰기가 실제로 문장의 불확실성을 감소시킨다는 것을 발견하였다.
정보 엔트로피
이와 같은 경우 중 가장 극도의 사례는 양면을 가지고 있으나 절대로 뒷면이 나오지 않는 동전을 사용할 경우이다. 이때에는 불확실성이 전혀 없으므로 (항상 앞면이 나오므로) 엔트로피는 0이다. 즉, 이러한 동전 던지기의 시행결과는 아무런 정보도 전달하지 않는다.
일반 정보 모델 (컴퓨팅)
일반 정보 모델(Common Information Model, CIM)은 정보기술 환경에서 어떻게 관리 요소가 객체들의 일반적인 모임과 이들 사이의 관계로 대표되는지를 결정하는 오픈 표준이다. 이 모델은 제조업체나 제공업체와는 독립적으로 이러한 관리 요소를 꾸준하게 관리할 수 있도록 해 준다.CIM은 DMTF 표준의 대부분을 기본으로 사용하고 있다. (이를테면, WBEM, SMASH) 게다가 기억 장치의 관리를 위한 SMI-S 표준을 기본으로 사용하고 있다.수많은 업체들은 다양한 형태로 CIM을 도입하고 있다.
런타임 타입 정보
런타임 타입 정보(RTTI, Run-Time Type Information 또는 Run-Time Type Identification)는 런타임 시 객체의 자료형에 관한 정보를 드러내는 C++ 메커니즘을 가리킨다. RTTI는 정수와 캐릭터 또는 제네릭 타입 같은 간단한 자료형에 적용할 수 있다. 이것은 타입 인트로스펙션이라고 부르는 더 일반적인 개념의 C++ 특수화이다. 델파이 (오브젝트 파스칼)같은 다른 프로그래밍 언어들에서도 비슷한 메카니즘이 존재한다.
정보의 단위
1928년에 랄프 허틀리가 가장 기본적인 법칙을 발견하였으며, 1945년에 클로드 섀넌이 공식화하였다.
정보저장 시스템에 비례하는 로그 log"N" 의 진수 "N"을 변환하는 시스템이다. 기준을 변경하는 방법은 로그에서 "b" 를 다른 숫자 "c" 효과를 갖는 곱한 값을 로그에 의해 고정 상수, 즉 log"N" =(log"b")×(log"N")으로 만드는 것이다.
따라서, 선택의 기준이 "b"인 단위 정보를 측정할 수 있다. 하지만, "b" 은 양의 정수, 유닛은 양의 정보를 저장할 수 있는 진수 "N" 인 상태이다.
맥스웰의 도깨비
Szilárd의 통찰은 1982년 Charles H. Bennett가 확장시켰다. 1960년 Rolf Landauer는 어떠한 측정 방법에 있어 만약 그 측정 방법이 열역학적으로 가역적인 방법이라면 열역학적 엔트로피의 증가가 필요하지 않음을 알았다. 이것은 또한, 열역학적 엔트로피와 정보 엔트로피 사이의 관계로 인해, 기록된 측정은 지워져선 안 됨을 뜻한다. 다른 말로 하면 문의 어느 쪽에 분자가 있어야 하는지 결정하기 위해, 도깨비는 분자의 상태에 관한 정보를 저장해야 된다는 뜻이다. 그러나 Bennett는 도깨비의 정보 저장공간은 꽉 찰 것이고 전에 모았던 정보를 지우기 시작해야만 한다는 것을 보여주었다. 정보를 지운다는 것은 열역학적으로 비가역적인 과정이고 계의 엔트로피를 증가시킨다.
열용량
따라서 압력이 일정할 때 열용량은
이 마지막 "정의"는 순환적으로, "엔탈피"의 개념에서 압력이 일정할 때, 흡수되거나 생산된 열을 측정하기 위해 만들어졌다. 따라서 부피-볼륨에 대한 열용량은 엔탈피에 의해 정의된 것이므로, 이를 알기 위해서는 엔탈피를 먼저 정의하고 알아야 한다.
엔트로피
블랙홀은 고전적으로 털없음 정리에 의하여 미시상태가 없다. 그러나 반고전으로 마치 어떤 유한한 엔트로피를 가진 것처럼 행동한다. 이 엔트로피는
다. 여기서 formula_20는 블랙홀의 사건 지평선의 넓이다. 이를 베켄슈타인-호킹 엔트로피()라고 부른다. 이는 야콥 베켄슈타인(, )이 가설을 세웠고, 스티븐 호킹이 반고전적으로 유도하였다. 또한, 특수한 경우 끈 이론이나 루프 양자 중력 등으로 미시적으로 유도할 수도 있다. 블랙홀을 포함하는 계의 경우, 베켄슈타인-호킹 엔트로피를 무시하고 계산하면 일반적으로 열역학 제2법칙이 성립하지 않고, 이를 포함하여 계산하여야만 성립한다.
정보의 단위
가장 일반적인 단위는 비트, 컴퓨터 시스템에 존재하는 0, 1의 두 가지 상태이며, 바이트 (또는 옥텟)의 8분의 1이다. 정보량이 더 많아지면 붙이는 접두어로는 SI 접두사 (1000의 거듭제곱 이용)또는 새로운 IEC 이진 접두사 (1024의 거듭제곱 이용)를 사용한다.
루트비히 볼츠만
이는 열적인 평형상태에 있는 계에 대하여 열역학적인 성질을 구하는 방법을 제시한 것이다. 엔트로피는 계의 주어진 거시적인 상태에 해당하는 가능한 모든 미시적인 상태의 수의 대수를 취한 양에 비례함을 나태낸 것이다. 이 관계식은 모든 미시적인 상태들의 사전확률이 같다는 가정에 근거를 두고 있으나 이 가정을 보완하기 위하여 볼츠만은 에르고드 가정을 도입하였다. 이 가정에 의하면 하나의 계가 궁극적으로 모든 가능한 미시적인 상태를 두루 거치게 된다는 것이다.
작은 바른틀 앙상블
엔트로피는 다음과 같이 정의된다.
네른스트 열 정리
네른스트 열 정리가 말하는 것은 절대온도 0 으로 온도가 접근할수록 화학적, 물리적인 변환을 위한 엔트로피의 변화량은 0으로 접근한다는 것이다. 이것은 수학적으로 다음과 같이 쓸 수 있다.
임계 블랙홀
임계 블랙홀의 표면 중력은 0이고, 따라서 임계 블랙홀의 호킹 온도는 절대 영도다. 그러나 임계 블랙홀은 유한한 크기의 사건 지평선을 가지므로, 임계 블랙홀은 양의 베켄슈타인-호킹 엔트로피를 가진다. 초대칭 임계 블랙홀의 엔트로피는 끈 이론으로 직접 계산할 수 있다.
디렉토리 엔트리
디렉토리 엔트리(Directory entry)란 디렉토리를 표현하는 데에 쓰이는 자료구조이다. 파일 시스템에 따라서 이를 구성하는 항목도 달라진다. 일반적으로는 파일이름, 파일속성 등 파일에 대한 여러가지 정보가 저장되는데, 유닉스 계열에서는 파일이름과 아이노드 번호만 저장된다.
MS-DOS에서 디렉토리 엔트리는 파일 이름, 확장자, 속성, 시각, 날짜, 첫 번째 블록의 번호, 파일 크기 정보를 가지고 있다. 
유닉스에서 디렉토리 엔트리는 파일 이름과 아이노드 번호 정보를 가지고 있다. (파일의 속성, 소유자 정보는 해당 파일의 아이노드가 가지고 있다.)
랜덤 포레스트
훈련 단계에서 트리의 각 노드는 들어오는 데이터 포인트들을 최적으로 분리하기 위해 정보 획득량()을 측정 기준으로 사용한다. 구체적으로 각 노드에서 정보 획득량(신뢰, confidence)을 최대화하는 것이다. 정보 획득량은 다음과 같이 정의된다.
여기서, formula_22는 한 노드에 도달하는 데이터 집합을, formula_23는 이 노드의 formula_24, 왼쪽 혹은 오른쪽 방향 자식 노드로 들어가는 데이터 집합을 나타낸다(formula_22와 formula_23의 관계식은 훈련과 테스트 과정 참조). 또한, formula_27와 formula_28는 각각 데이터 집합에 속한 데이터 개수와 섀넌 엔트로피()를 가리킨다.
위 수식에서 볼 수 있듯이, 정보 획득량을 최대화하기 위해서는 결국 섀넌 엔트로피가 최소화 되어야 한다. 섀넌 엔트로피는 확률 변수의 조합으로 정보원(여기서는 formula_22)에 대한 불확실성을 보여주는 것으로 아래와 같이 정의된다.
여기서 formula_31는 전체 부류() 집합을 나타내며, formula_32는 각 부류에 대한 확률 질량 함수이다.
에너지 등분배법칙
따라서 이는 두 양자 상태의 에너지가 저장 되는 형태도 같다는 것을 의미하고 결국 에너지 등분배 법칙에 의해 자유도가 같다는 것을 의미한다.
미시적 상태에서는 엔트로피를 상태수를 통해서 정의할 수 있는데 다음과 같다.
이득
입출력 전압과 임피던스가 같을 경우 1의 이득(0 dB)이라 하고 "단위 이득"이라 한다.
[[분류:통신]]
[[분류:전기 회로]]
열역학 제3법칙
양자역학에 따르면 절대 영도에서 계는 반드시 최소의 에너지를 가지는 상태, 즉 바닥 상태에만 존재할 수 있다. 이러한 최소의 에너지를 가질 수 있는 상태가 한가지 뿐이라면 엔트로피는 0이 된다. 한편 보다 일반적인 표현으로
표준상태
표준상태(Standard state, 標準狀態)는 주로 온도 25℃, 압력 1기압하에서의 물질의 상태이다. 이 온도와 압력을 각각 표준온도, 표준압이라고 한다. 그러나 엄밀하게 온도는 표준상태의 정의에 포함되지않는다. 통상적으로 표준생성엔탈피와 같은 열역학적 데이터는 1기압 25℃를 기준으로 제시되기 때문에 표준상태에 온도 조건이 포함된다는 오해를 불러일으킨다.
효소
엔트로피란 화학 반응계에서 구성 성분들의 무작위성 또는 무질서도를 나타내는 것이다. 화학 반응계에서는 이런 엔트로피의 변화를 ΔS로 표시한다. 무작위성이 증가될 때는 ΔS가 양의 값이 되고 무작위성이 감소할 때는 ΔS가 음의 값이 된다.
정보 엔트로피
문자 배열로 간주되는 영어 텍스트의 경우, 꽤 낮은 엔트로피를 가지고 있다. 즉, 예상하기 쉽다는 의미이다. 에를 들어 우리가 다음 문자로 무엇이 올지 정확히는 몰라도, ‘e’가 ‘z’보다는 많이 쓰이고 ‘qu’라는 조합은 ‘q’와 다른 문자의 조합보다는 훨씬 많다는 것을 알고 있다. 처음 문자 몇 개를 알려주면 나머지 문자를 추측하여 글자를 알아맞히는 일은 어렵지 않다. 영어 문장은 연구 방법에 따라 다르지만 일반적으로 메시지의 글자당 0.6에서 1.3비트의 엔트로피를 갖는다고 알려져 있다.
엔탈피
엔탈피()는 열역학적 계에서 뽑을 수 있는 에너지다. 내부 에너지와, 계가 부피를 차지함으로부터 얻을 수 있는 에너지(부피와 압력의 곱)의 합이다. 대기압이나 수압과 같이 압력에 둘러싸인 계를 다룰 때 쓴다. 기호는 대개 라틴 대문자 "H"이다.
아포스트로피
컴퓨터 키보드를 통한 입력은 엔터 키 옆의 작은 따옴표를 이용한 입력을 주로 사용한다. 과거 아스키 코드에서 작은 따옴표와 아포스트로피를 같이 묶어 사용했기 때문이다(큰 따옴표는 작은 따옴표와 분리). 현행 유니코드 정책과 컴퓨터 검색 메커니즘 상 작은 따옴표로 아포스트로피를 입력하는 것을 가장 바람직하다고 보고 있다. 워드 프로세서를 이용할 때도 영어권의 I'm, don't 등을 입력하기 위해 아포스트로피를 입력하는 경우 작은 따옴표를 입력하면 자동으로 아포스트로피를 바꿔주는 경우가 많다.
키보드 좌상단의 숫자 1키 옆의 키는 억음 부호를 입력할 때 사용하는 키로 한국인의 일반적인 한글, 영어 알파벳(단순한 A~Z)을 입력할 때에는 사용할 일이 없는 키다. 영어가 아닌 유럽어권의 알파벳 입력에서는 영어와는 달리 자주 사용됨이 영어와 다르다.
엔트로피
formula_24
엔탈피
위의 엔탈피의 정의는 그 값이 기준을 어떤 점으로 잡느냐에 따라 변하기 때문에 그 자체로 쓰이는 것 보다는 엔탈피의 변화로 어떤 과정을 나타내기 위해 만들어진 개념이다. 즉, 어떠한 과정에서 압력의 변화가 0인 경우엔(ΔP=0), 엔탈피의 변화량은 계가 주변과 주고받은 에너지인 열량을 나타낸다.
온도
열역학적 정의의 온도는 19세기 중반 열기관과 열역학에서 이어지는 통계역학이 발전되면서 에너지와 엔트로피간의 이해가 높아지면서 파생되어 나왔다. 열역학적 정의의 온도는 에너지를 엔트로피로 편미분한 값으로 나타내지며, 다양한 기초적인 물리법칙과 근본적으로 관련되어있다. 열역학적 정의의 온도는 계의 평형이 이뤄지지 않으면 정의할 수 없다.
온도
음의 온도란 절대 영도(0K)보다 낮은 온도를 말한다. 열역학 제3법칙에 따르면 절대 0도보다 낮은 온도는 존재할 수 없다. 하지만 가능한 에너지의 상태가 제한되어 있는 전자와 핵의 스핀을 양자역학적 관점에서 봤을 때, 절대 영도보다 작은 음의 온도를 만드는 것은 충분히 가능한 일이다. 다만 이것은 거시적 관점에서의 온도에는 해당되지 않고, 에너지 등분배의 법칙에 따라 에너지를 서로 교환하거나 하지 않는 고립된 특별한 자유도에 대해서만 해당하는 것이다. 음의 온도는 바닥 상태에 있는 스핀들에 대해서 밀도 반전 (population inversion) 을 일으키는 “Radio Frequency Technique”를 통해서 실험적으로 만들어질 수 있다. 높은 에너지 준위를 가지는 상태의 수가 많아지면 계 전체의 에너지가 증가하고, 계의 무질서도가 증가하면서 엔트로피 또한 증가하게 된다. 결국 계 전체의 에너지가 일정 값이 되면 높은 에너지 준위를 가지는 상태의 수와 낮은 에너지 준위를 가지는 상태의 수가 같게 되어 엔트로피가 최대가 되고, 높은 에너지 준위를 갖는 상태의 수가 많아짐에 따라 계 전체의 에너지가 증가하면 계의 상태가 정돈되고, 엔트로피가 다시 낮아지게 된다. 따라서 계의 총 에너지와 엔트로피에 대한 그래프는 위로 볼록한 함수의 꼴을 띠게 된다. 여기에서 온도의 열역학적 정의에 따라 formula_37 이고, 극대점에서 그래프의 기울기는 0이므로 극대점에서 온도는 특이점(singularity)이 된다. 또한 극대점 이후에서는 그래프의 기울기는 음이므로 이 부분에서는 음의 온도가 생긴다. 계의 에너지가 계속 커지면 음의 온도는 0에 수렴하게 된다. 밀도 반전 상태에서 생기는 음의 온도는 에너지가 높은 상태이므로 양의 온도보다 오히려 더 뜨거운 상태이며, 음의 온도를 가지고 있는 계와 양의 온도를 가지고 있는 계가 접촉을 하게 된다면 음의 온도를 가지고 있는 계의 에너지가 양의 온도를 가지고 있는 계로 흘러갈 것이다.
사람이 살고 있는 주거환경은 지역의 기후와 풍토에 적응한 생활양식과 함께 개선되어왔다. 체온조절의 부담이 가장 적은 온도, 다시 말하면 덥지도 춥지도 않는 최적온도는 18℃ 정도이며, 15.6~20℃ 정도에서 쾌적함을 느낄 수 있다고 한다.
작은 바른틀 앙상블
고전적 계에서의 작은 바른틀 앙상블은 자연스럽게 에르고딕 가설을 고려해야 하는 기반을 제공해준다. 그 말인 즉, 긴 시간 동안의 시간 평균이 앙상블 평균(ensemble average)과 같다는 것이다. 좀 더 정확히 말하면, 관측량이 작은 바른틀 앙상블에서의 측도 μ에 대해 적분 가능한 위상 공간 Γ 위에서의 실함수 "f"로 나타난다는 것이다. formula_42를 위상 공간에서의 대표점으로 기술하면, formula_43은 시간 t에서 해밀턴 흐름(Hamiltonian flow)의 상(image)이 된다. "f"의 시간 평균은 다음과 같이 정의된다.
정보 엔트로피
일상생활의 실용적인 수준에서는 정보이론의 엔트로피와 열역학적 엔트로피의 관계가 그리 깊지는 않다. 물리학자나 화학자는 자발적으로 초기상태에서 멀어지는 시스템에서의 엔트로피 ‘변화’에 더욱 관심이 있다. 이는 열역학 제2법칙에 부합하는 내용으로, 불변하는 확률분포에 집중하는 정보엔트로피와는 포커싱이 사뭇 다르다.
열역학 제3법칙
라고 기술되며 최소에너지의 상태가 복수개로 존재할 때 이렇게 엔트로피는 상수로 수렴하게 된다. 이러한 상수값은 때론 계의 잔류 엔트로피라고 불린다. 유리는 잔류 엔트로피를 가지는 계의 대표적인 예 중 하나이다.
레니 엔트로피
헝가리의 수학자 레니 얼프레드()가 1960년 도입하였다.
엔드포인트 DLP
보안기술의 일종이다. 데이터 유출 방지(Data Loss Prevention)는 내부 정보 유출 방지를 의미한다. 보통 DLP로 축약하여 부른다. PC, 태블릿PC, 모바일, 서버 등 단말(endpoint)에서 기밀정보나 개인정보 등 내부정보 유출을 통제하는 기술을 엔드포인트 DLP(Enpoint DLP)라고 부른다.
물리학의 발전
엔트로피에 대한 볼츠만의 통계적 해석 덕분에 엔트로피 개념은 열 현상을 넘어 일반화되었다. 처음에 엔트로피는 열의 출입이 한 방향으로만 일어나는 경향을 설명하기 위해 도입되었다. 그러나 볼츠만 연구 이후에는 모든 물리적 상태에 적용 가능해진 개념이 되었다.
정보의 단위
이때 밑인
이 트리트, 밴, 내트는 드물게 사용을 측정하는 저장소 용량을 가리키며, 특히 내트는 정보 이론에 기초해서 다른 단위보다 편리하다. 자연 로그를 사용하기 때문이다.
자료 집합
일반적으로 자료 집합은 하나의 데이터베이스 테이블의 내용이나 하나의 통계적 자료 행렬과 일치하며 여기에서 테이블의 모든 컬럼은 특정한 변수를 대표하며 각 로우는 제기된 자료 집합의 주어진 멤버와 일치한다. 이 자료 집합은 변수 개개의 값들을 나열하는데, 이를테면 자료 집합의 각 멤버에 대한 물체의 높이와 무게를 들 수 있다. 각각의 값은 자료라고 부른다. 자료 집합은 하나 이상의 멤버에 대한 데이터를 이루며, 로우의 수와 일치한다.
엔트로피
엔트로피에는 열역학적 정의와 통계학적인 정의, 두 가지의 관련된 정의가 있다. 역사적으로, 고전 열역학적 정의가 먼저 발전하였다. 고전 열역학적인 관점에서, 그 이론은 원자나 분자 같은 수많은 성분들로 이루어져 있고, 학설의 안정성은 그러한 성분들의 평균적인 열특성으로 설명된다.
이론을 구성하는 성분의 세부적인 성분들은 직접적으로 보이지 않는다. 그러나 그 특성은 온도, 압력, 엔트로피, 열용량과 같은 눈으로 볼 수 있는 평균적인 지표들에 의해 설명된다. 그 이론의 특성에 관한 고전적인 정의는 평형 상태임을 가정하였다. 엔트로피의 고전 열역학적 정의는 최근 비평형 열역학의 영역으로까지 확대되었다. 이후 엔트로피를 포함한 열특성은 눈으로 볼 수 없는 미시세계에서의 움직임에 대한 정역학적인 관점에서 새롭게 정의되었다. 그 예로 처음에는 기체로 여겨졌지만 시간이 지난 후에 광자, 음자, 스핀과 같은 양자 역학적으로 생각되는 뉴턴 입자가 있다. 이 이론의 특성에 대한 통계학적 설명은 고전적인 열역학을 사용하여 이론의 특성을 정의하는 것이 몇몇 변수의 영향을 받는 이론의 최종적인 상태를 예측하는데 있어서 점점 신뢰할 수 없는 예측 기술이 되어감으로 인하여 필수적인 것이 되었다.
고전적 열역학에서는 엔트로피 "S"의 절대적 값은 정의할 수 없고, 대신 그 상대적 변화만 정의한다. 열적 평형을 이뤄 온도가 formula_1인 계에 열 formula_2를 가하였다고 하자. 이 경우 엔트로피의 증가는 다음과 같이 정의한다.
이 식을 적분하여 유한한 엔트로피 차이를 정의한다.
정보 이론
채널 용량은 입력 신호와 출력 신호의 상호 엔트로피에 의해 아래와 같이 정의된다.
여기서 formula_2는 입력 신호 formula_3의 확률 밀도 함수이다.
정보 엔트로피
그러나 만약 우리가 이 동전이 공정하지 않다면, 즉 앞면이 나올 확률이 p, 뒷면이 나올 확률을 q로 이미 알고 있다면 불확실성은 더 떨어질 것이다. 이는 동전을 던질 때마다 특정한 면이 나올 확률이 더 높기 때문이다. 이때의 불확실성의 감소는 엔트로피의 감소로 정량화될 수 있다. 공정하지 않은 동전 던지기 결과값의 엔트로피는 1비트의 정보 보다 적다고 해석할 수 있다.
통계학
기댓값(expected value)은 통계에서는 평균과 같다고 생각하면 된다. 가능한 값마다 확률을 곱해서 모두 더한 것이다.
산포도(degree of scattering)는 자료가 흩어져 있는 정도를 나타낸다. 범위, 분산, 표준편차 등.
정보
대체적으로 많은 사람들은 모든 자료가 정보가 될 수 있다고 생각한다. 그러나 상대적이기 때문에 모든 자료는 정보의 역할을 하기는 어렵다. 정보는 가치지향적이며 관심이 있는 사람들의 의사결정에 영향을 주고, 어느 정도의 이익을 제공할 수 있는 자료이어야 정보로서의 역할을 할 수 있다.
정보 엔트로피
앞에서 언급한 동전던지기 사례를 다시 생각해 보자. 만약 우리가 동전의 특정 면이 나올 확률을 알고 있다고 가정해 보자. (반드시 앞, 뒷면이 나올 확률이 같을 필요는 없다.) 동전 던지기를 시행했을 때 결과값의 엔트로피는 공정한 동전일 때 가장 높게 나온다. (앞, 뒷면이 나올 확률이 각각 1/2로 같을 경우이다.) 이러한 경우가 불확실성을 가장 극대화 시키고 결과값을 예상하기가 가장 어렵다는 것을 의미한다. 이때의 동전던지기 결과값은 1비트에 해당하는 정보를 가지게 된다.
기브스 역설
이제 엔트로피의 변화를 계산해보면
엔트로피 부호화
엔트로피 코딩 중에 가장 자주 쓰이는 세 가지는 허프만 부호화, 범위 부호화와 산술 부호화이다. 이 부호화 기술들은 입력 데이터의 값 분포에 따라 할당 방법이 동적으로 변화하기 때문에, 별도로 분포에 대한 정보를 가지고 있거나 보내 주어야 한다는 부담이 있다. 데이터 스트림의 대략적인 엔트로피 성질을 미리 알고 있을 때에는(특히 신호 압축에서) 범용 부호 기술로서 단항 부호, 엘리어스 감마 부호, 피보나치 부호, 골롬 부호, 라이스 부호등을 쓰기도 한다.
에너지 밀도
진공 에너지가 에너지 밀도이다. 일반 상대론에서는 우주 상수가 이를 나타낸다. 0이 아닌 값이라고 알려지고 있다. 이를 암흑 에너지라고 보기도 한다.
광합성
1 mol 당 에너지 변화는 -112 kcal/mol(포도당 1mol 당 -672 kcal/mol)이고 빛의 자유 에너지는 120 kcal/mol이므로 8 kcal/mol 손실은 엔트로피에 의한 것이다. 기브스 방정식을 보면 계의 열에너지의 양(열에너지의 양은 계의 온도와 엔트로피의 크기에 의존한다.)이 적을수록 자유 에너지에서 이용 가능한 에너지인 엔탈피로의 변환이 많은 것을 의미한다. (열역학 제2 법칙) 자연의 광합성 또한 엔트로피와 엔탈피의 상호 작용에 의한 에너지 변환이 일어나는 것이다.
비손실 압축
비손실 압축(非損失 壓縮) 또는 무손실 압축(無損失 壓縮)은 데이터 압축의 일종으로 손실 압축의 반대말이다. 원래의 정보를 그대로 보존해야 하기 때문에, 정보 엔트로피의 한계가 그대로 반영된다. 여기에서 정보 엔트로피의 한계란 개별 정보의 확률값에 의하여 계산되는 값이 아닌, 전체 신호의 상관관계를 반영한 한계값이다. 이러한 성질을 이용한 대표적인 압축 방법으로 반복 길이 부호화가 있다.
정보 엔트로피
그러나 여러 학문분야에 걸쳐 종합적인 분석을 해보면, 열역학적 엔트로피와 정보 엔트로피 사이에서는 연결고리가 만들어질 수 있다. 사실 1957년 제인스()의 의견에 의하면, 열역학은 섀넌의 정보 이론의 ‘응용’으로 간주될 수 있다. 열역학에서의 엔트로피는 시스템의 더욱 자세한 미시적인 상태를 정의하기 위해 더 필요한 섀넌 정보 양의 추정으로 해석될 수 있다. 이는 고전열역학의 미시변수란 개념으로는 설명될 수 없는 것이었다. 예를 들면 시스템에 열을 가하는 것은 열역학적 엔트로피를 증가하는 것이다. 왜냐하면 이것은 미세 상태의 가능한 가짓수를 증가시키기 때문이다. 제임스 클러크 맥스웰은 이론적으로 시스템의 열역학적 엔트로피를 개별적인 분자 상태에 대한 정보를 사용함으로써 감소시킬 수 있다고 주장하였다. 이는 맥스웰의 도깨비란 이름으로 널리 알려져 있다. 그러나 란다우어(Landauer)와 그의 동료들은 총 엔트로피는 줄지 않는다는 것을 보이며 이 역설을 해결하였다.
정보 이득
정보 획득이 일반적으로 속성의 관련성을 결정하는 좋은 방법이지만 완벽한 것은 아니다. 주목할 만한 문제는 많은 양의 고유한 값을 가질 수 있는 속성에 정보 이득이 적용될 때 발생한다. 예를 들어 비즈니스 고객을 설명하는 일부 데이터에 대한 의사 결정 트리를 작성한다고 가정한다면, 정보 획득은 종종 어떤 속성이 가장 관련이 있는지를 결정하는 데 사용되므로 트리의 루트 근처에서 테스트 할 수 있다. 입력 속성 중 하나는 고객의 신용 카드 번호일 수 있다. 이 속성은 각 고객을 고유하게 식별하기 때문에 상호 정보가 많지만 의사 결정 트리에 포함하지 않는다. 신용 카드 번호를 기반으로 고객을 취급하는 방법을 결정하는 것은 그렇지 않은 고객에게 일반화하기 어렵다. (과잉 적합, overfitting)
정보전염병
정보전염병()은 정보(information)과 전염병(epidemics)을 합친 단어이다. 인터넷의 발전은 사회가 정보화·세계화로 나아가는 데 도움이 되었다. 하지만, 이는 바이러스, 잘못된 루머, 그 밖의 나쁜 소식이 순식간에 퍼지게 한다. 결국 이들 요소는 각 국가의 정치·경제·보안에 나쁜 영향을 일으킨다. 정보전염병은 이러한 현상을 나타내는 용어이다.
엔트로피
위와 같이 분류한 엔트로피를 계의 관점에서 본 알짜엔트로피 변화를 나타낼 때 이용할 수 있다.
정보 엔트로피
일반적으로 엔트로피는 무질서도 또는 불확실성을 가리킨다. 섀넌 엔트로피의 개념은 클로드 섀넌이 자신의 1948년 논문 ""에서 도입하였다. 섀넌 엔트로피는 정보 소스(source)를 무손실 인코딩 또는 압축할 때 가능한 최상의 평균 길이의 절대적 한계치를 제공해준다. 는 섀넌 엔트로피를 일반화한 것이다.
엔트로피
계와 주위가 갖는 엔트로피는 다음과 같이 표현할 수 있다
상호의존정보
확률 이론 과 정보 이론 에서 두 개의 무작위 변수 의 상호의존정보(또는 상호 정보, Mutual information , MI)는 두 변수 사이의 상호 의존성을 측정 한 것이다. 보다 구체적으로 말하면 , 다른 무작위 변수를 통해 하나의 무작위 변수에 대해 얻어진 "정보량"( 섀넌과 같은 단위 , 더 일반적으로 비트라고 부름)을 정량화(계량화) 한다. 상호 정보의 개념은 무작위 변수의 엔트로피의 개념과 복잡하게 연관되어 있으며, 무작위 변수의 "정보량"을 정의하는 정보 이론의 기본 개념이다.
범용 부호
다음은 잘 알려진 범용 부호의 목록이다. 별표(*)로 표시한 것은 점근적으로 최적인 부호이다.다음은 범용 부호는 아니지만 모든 정수를 대응시키는 부호들의 목록이다.이 부호들이 범용 부호가 아님은 가우스-쿠즈민 분포나 제타 분포(s=2)에 따르는 정수를 부호화하면 길이 기댓값이 무한대가 된다는 것으로 알 수 있다. 예를 들어서 일진 부호를 제타 분포에 적용하면 길이의 기댓값은 다음과 같다.
반면 범용 부호인 엘리어스 감마 부호를 여기에 적용하면 길이의 기댓값은 약 3.51비트로, 엔트로피(약 3.43비트)에 근접한다.
디지털 회로
전류는 회로의 구성에 따라 전압과 저항의 옴의 법칙에 따라 전류가 흐른다. 논리를 입력한다고 해서 반드시 전류가 흘러 들어가지는 않는다. 오히려 논리 0일 때 입력의 반대방향으로 전류가 흐른다. 입력을 드라이브 하는 쪽이 씽크(sink)가 된다. 전력측면에서는 오히려 입력이 전력을 소모할 수도 있고 전력을 공급할 수도 있다. 즉, 입력이 전력입력과는 다른 문제이다. 단지 입력 노드에 특정 전압을 유지함으로써 신호가 입력되는 것이다.
데이터 스트림
데이터 스트림(data stream)은 연결지향통신에서, 전송된 정보를 수집하거나 정보를 전송할 때 사용되는 디지털 방식으로 암호화 된 일관된 신호의 흐름을 말한다. 전자 및 컴퓨터 구조 분야에서, 데이터의 흐름은 재구성 가능한 데이터경로 배열 다른 비슷한 파이프 네트워크나 다른 처리 블럭, 처리 유닛들의 포트로 언제, 어떤 정보들이 들어오거나 밖으로 나가는 지를 관할한다. 폰 노이만 구조의 컴퓨터는 명령 스트림기반인 반면, 안티머신은 데이터스트림 기반이기 때문에 종종 데이터 스트림을 명령 스트림으로 보기 쉽다.
정보 엔트로피
한편, 정보 엔트로피가 커지는것은 역시 변수(불확실성)가 증가하는 것을 의미하므로, 변수를 제어함으로서 불확실성이 줄어드는 것은 결국 정보 획득을 의미하게 된다.
인지 부하
Chandler과 Sweller에 의하면 인지부하 이론의 기본가정은 인간의 작동기억은 한 번에 저장하고 처리할 수 있는 정보의 양은 극도로 제한되어 있다는 것이다. 즉, 학습하고자 하는 정보가 작동기억에서 처리되어야 하는데 이때 작동기억의 한계를 넘어 정보가 처리되지 못하고, 소멸되거나 과부하를 일으키는 것을 인지부하(cognitive load)라 한다(Sweller, 1994). 이는 한 번에 너무 많은 정보의 양을 제공하면 학습자에게 인지적 과부하를 일으켜 학습이 효과적으로 일어나는 것을 방해하는 요인이 된다는 것이다. 또한 Moreno와 Mayer는 인지부하 이론에서 인간의 작동기억에는 복수의 정보 처리 채널이 존재한다는 것에 의미를 두었다. Baddeley는 학습을 하는 과정은 학습자의 감각기관(sensory registers)을 통하여 들어온 학습내용이 학습자의 작동기억(working memory)에 머물다가 다시 장기기억(longterm memory)으로 저장되는 일련의 과정을 거치게 되는데 이때 작동기억은 그림과 도표를 처리하는 시공간적 정보처리기와 청각적 정보를 처리하는 음운 루프, 이 둘을 조절하는 통제기가 있다고 하였다.
정보 이득
머신 러닝에서 이 개념은 X의 상태를 가장 빠르게 좁히기 위해 조사할 속성의 기본 시퀀스를 정의하는 데 사용할 수 있다. 이러한 시퀀스 (각 단계에서 이전 속성 조사의 결과에 따라 다름)를 의사 결정 트리 라고한다. 일반적으로 상호 정보가 높은 속성은 다른 속성보다 선호되어야 한다.
일반적으로, 기대되는 정보 이득은 이전 상태에서 주어진 정보를 갖는 상태로 바뀔 때 정보 엔트로피 H의 변화이다:
엔트로피
여기서 열 엔트로피는 계와 주위 모두에 존재하지만, 계를 제외한 모든 곳을 지칭하는 주위에서 위치 엔트로피의 변화는 너무 광범위하게 이루어지므로 그 변화를 무시할 수 있고, 주위가 갖는 엔트로피 변화에 가장 큰 영향을 미치는 것은 온도, 즉 열 엔트로피이다. 이 때문에 주위의 엔트로피 변화를 열 엔트로피 변화라고 할 수 있다. 그리고 이와 같은 관점에서 계에서 열 엔트로피변화는 분명 존재하긴 하지만 위치 엔트로피의 변화가 더욱 계의 엔트로피변화에 큰 영향을 주기 때문에 계의 엔트로피 변화를 위치 엔트로피의 변화라 할 수 있다.
라플라스의 도깨비
라플라스의 이 견해에서 과거와 현재는 항상 정확하게 같은 양의 지식과 정보를 가지고 있다. 이것은 정보를 자연의 상수로 만들고, 지금도 몇몇의 수학자들은 정보는 질량과 에너지 보존과 같이 보존되는 하나의 양이라고 생각한다.열역학법칙의 발견에 뒤이어서 윌리엄 톰슨(캘빈 경, William Thomson)은 우주가 궁극적으로는 계에 존재하는 에너지를 열운동으로 모두 발산시켜 소모할 것이라고 주장했다. 헤르만 폰 헬름홀츠(Hermann Ludwig Ferdinand von Helmholtz, 1821년 -1894년)는 이것에 열죽음이라는 이름을 붙였다. 그리고 이에 수학자들은 만일 시간이 역행한다면 엔트로피의 형태로 사라진 정보가 회복되는 것이 엄밀하게는 가능하다고 말하고는 했다.
주성분 분석
차원 축소를 위해 사용된 PCA가 데이터가 가진 정보의 대부분을 보존한다는 주장은 실제를 오도하는 것이다. 실제로 신호 모델에 그 어떤 가정도 없다면 PCA는 차원이 축소될 때 손실되는 정보의 양을 줄여주는데 아무런 도움이 되지 못한다. 여기서 정보의 양은 정보 엔트로피를 이용해 측정된 값이다.
온도
내부적으로 열 평형 상태에 있는 두 계 A,B가 접촉되어있어 열 교환이 자유롭게 일어난다고 하자. 열역학 제 2 법칙에 따르면 시간이 흐름에 따라 두 계의 엔트로피의 합이 증가하는 방향으로 열이 이동하며 열 평형상태에 도달하였을 때 전체 엔트로피는 최댓값에 도달한다. 각 계가 가지고 있는 에너지를 "U", "U"라고 하자. 계 B로부터 계 A로 미소 에너지 흐름 "Q"이 발생하였다고 할 때 "U"와 "U", "S"은 다음과 같다.
라플라스의 도깨비
만일 우주가 닫힌 계라면 켈빈의 주장은 옳을지도 모른다. 그러나 우리의 열려있고 확장되는 우주에서 데이비드 레이저(David Layzer)는 가능한 최대의 엔트로피는 실제의 엔트로피보다 더 빠르게 증가하고 있다는 것을 보여주었다. 가능한 최대의 엔트로피와 현재의 엔트로피 간의 차이점은 부의 엔트로피라고 불리고, 이는 복잡하고 안정된 정보구조에 대한 가능성을 열어놓는다. 아래는 데이비드 레이저의 개념이다.
내부 에너지
내부에너지는 계의 상태로부터 직접적인 측정이 불가능하다. 내부에너지는 주어진 계의 상태에 대한 일련의 열역학 작업과 열역학 과정을 통해 결정된다. 이러한 과정과 경로는 이론에서 계의 특정한 크기 상태 변수로 기술된다, 즉, 엔트로피는 "S", 부피는 "V", 계의 몰수는 {"N"}로 기술된다. 그리고 내부에너지 "U"("S","V",{"N"})는 이것들의 함수이다. 간혹 여기에 전기 쌍극자 모멘트 같은 또다른 크기 상태 변수가 추가될 수 있다. 열역학적, 공학적인 관점에서 에너지 질량 에너지같은 본질적인 모든 에너지를 고려하는 것은 필수적이거나 필요하지 않은 경우가 많다. 관습적으로, 열역학적인 서술은 연구 과정에서 관련된 요소만을 포함한다. 열역학은 내부에너지의 절대적인 양보다 "변화"에 초점을 둔다.
엔트로피
정보 이론에서의 엔트로피는 확률 변수의 무질서도의 척도이다.
볼츠만 두뇌
이 개념은 우리가 우주의 조직에서 좀 더 큰 단위를 관찰할 때의 설명에 필요하다. 열역학 제2법칙에 따르면, 닫힌 계에서는 엔트로피가 감소하지 않는다. 우리는 우주의 가장 큰 가능성은 최대의 엔트로피 상태가 되는 것으로 예측할 수 있다. 그러나 관측되는 엔트로피가 낮은 이유는 무엇일까?
섀넌 (단위)
섀년(Shannon ,기호 : Sh)은 일반적으로 비트(bit)로 알려져 있으며, ISO/IEC 80000-13에 정의 된 정보 엔트로피 의 단위이다 . 하나의 섀넌은 확률이 formula_1일 때 발생하는 이벤트의 정보 내용이다. 그것은 또한 두 가지 가능한 상황을 가진 시스템의 엔트로피이다. 메시지가 일련의 비트 들로 이루어지고 모든 가능한 비트 문자열들이 똑같이 발생한다면, 섀넌들로 표현된 메시지의 정보 내용은 시퀀스 내의 비트들의 수와 동일하다. 이러한 이유로 섀논은 일반적으로 비트로도 알려져 있다.
에너지 등분배법칙
이와 같은 논의가 가능한 것은 formula_19개의 입자가 존재하는 계에서 formula_19이 매우 클 때 계를 이루는 분자 전체의 시간에 대한 평균은 모듬의 평균과 같다는 것에서 기인한다. 바로 이 가정이 바로 에르고딕성이다. 에르고딕성은 철저히 통계적인 접근이라고 할 수 있다. 따라서 계의 거시적인 측면에서 열역학적 성질을 구하게 하는 장점이 있지만 실제로 정량적인 계산하는 데에는 큰 도움이 되지 못한다. 그러므로 모듬의 평균을 실제로 계산하기 위해서는 모듬에서 각 에너지 상태의 상대적인 빈도수 또는 확률에 대한 정보가 있어야 한다. 이를 위하여 통계 열역학에서는 선험적 동등 확률의 원리("principle of equal a priori probability")라는 매우 강력한 가정을 받아들인다. 이 원리는 서로 다른 양자 상태를 나타내는 formula_24, formula_25 에 대해서 두 상태의 에너지가 같다면 두 양자 상태가 일어날 확률이 같다는 것을 의미한다.
열역학 제3법칙
물리학에서 열역학 제3법칙()은 엔트로피의 기본적인 개념과 관련되는 내용으로 다음과 같이 기술된다.
작은 바른틀 앙상블
지금까지, 우리는 고전적 계를 가정했다. 양자역학적 계를 다루기 위해서는 약간의 수정이 필요하다. 하지만 결과는 본질적으로 같다. 양자역학적 계를 구성하는 앙상블에 대해서는 모든 앙상블의 구성요소들이 정확히 에너지 "E"를 가지고 있다고 말하는 것이 적절하지 않다. 그러므로 위상 공간에서 formula_46 대신에, 앙상블의 계가 위상 공간 위에서 작은 영역 formula_47을 차지하고 있다고 생각해야 한다. 고전적 계들이 양자역학적 상태로 대체되면서, 축퇴 역시 고려해야 한다. 또한, 양자역학적인 경우에는 불확정성 원리에 의해, 상태들이 위상 공간 위에서 연속적으로 분포되어 있다고 볼 수 없다. 대신에 주어진 계에 따라서 "단위 부피" formula_48를 찾아야 한다. 예상되듯, formula_48는 보통 formula_50와 어떤 식으로든 연관이 있다. 그 결과, 상태의 수는 위상 공간에서 가능한 모든 부피 formula_10가 아니라 formula_52로 바뀌게 된다. 그러므로 엔트로피에 관한 식은 다음과 같이 수정된다.
엔트로피 부호화
엔트로피 인코딩 혹은 엔트로피 부호화()는 심볼이 나올 확률에 따라 심볼을 나타내는 코드의 길이를 달리하는 부호화 방법이다. 보통 엔트로피 인코더는 모든 심볼에 대해 같은 길이를 갖는 코드를 심볼이 나올 확률값의 음의 로그에 비례하는 서로 다른 길이의 코드로 바꾸어 부호화한다. 즉 가장 자주 나오는 심볼에 대한 코드가 가장 짧다.
자료
자료(資料, , 데이터, )는 수, 영상, 단어 등의 형태로 된 의미 단위이다. 보통 연구나 조사 등의 바탕이 되는 재료를 말하며, 자료를 의미있게 정리하면 정보가 된다.
인공 신경망
단어 '인공신경망'에서 "망"은 각 시스템에 있는 여러 층의 뉴런 간의 연결을 의미한다. 예를 들어 세 층이 있는 시스템이 있다면, 첫 번째 층은 시냅스를 통해 두 번째 층의 뉴런들로 데이터를 보내는 입력 뉴런들이 있고, 더 많은 시냅스를 통해 세 번째 층의 출력 뉴런으로 신호를 보내는 식이다. 시스템이 더 복잡해질수록 뉴런 층의 수도 더 많아지고, 그 층 안에 있는 입력 뉴런과 출력 뉴런들의 수도 많아질 것이다. 이 시냅스들은 계산 과정에서 데이터 값을 조절하는 가중치 값을 저장한다.
최대 엔트로피 마르코프 모델
최대 엔트로피 마르코프 모델(maximum-entropy Markov model, MEMM) 또는 조건부 마르코프 모델(conditional Markov model, CMM)은 순차적 명명(sequence labeling)을 위해 은닉 마르코프 모델과 최대 엔트로피 모델의 특질들을 결합한 그래프 모형이다. 최대 엔트로피 마르코프 모델은 학습해야 하는 모르는 값들에 대해 조건부 상호 독립 대신 마르코프 연쇄를 따라 서로 연결되어 있다고 가정하여 표준적인 최대 엔트로피 분류기를 확장한 변별적 분류 모델이다. 특히 형태소 분석 및 정보 추출에서 사용한다.
전력 품질
전압 변화에 따른 데이터 처리 기기의 허용 전압 오차는 보통 허용 전압 크기와 그에 대한 시간 길이를 보여주는, 국제 정보 통신 표준 위원회에서 제정한 CBEMA 곡선을 사용한다.
이상적인 교류 전원에서는 국가 표준(본선 등의 경우)나 모든 진동수에서 0 옴이 되게 하는 임피던스의 시스템 사양(전원 공급단이 본선에 직접 연결되지 않은 경우)에 따라 정해진 전압 진폭과 주파수로 전력을 공급하고 있다.
정보 밀도
[[분류:경제학 용어]]
더 시터르 공간
더 시터르 공간에서의 진공 상태는 번치-데이비스 진공()이라고 불리는 상태이며, 그 온도는
이다. 또한, 더 시터르 공간의 지평선의 넓이
는 유한하다. (여기서 formula_43는 반지름이 1인 formula_44차원 초구의 넓이다.)
따라서 블랙홀 열역학과 유사하게 엔트로피
를 계산할 수 있다.
맥스웰의 도깨비
이 물음에 대한 가장 유명한 답변은 1929년 Leó Szilárd가 제안했고 그 후에는 Léon Brillouin가 했다. Szilárd는 지적하기를, 실제 세계에서 맥스웰의 도깨비는 분자의 속력을 측정하는 수단이 필요하고 정보를 수집하는 행동은 에너지를 소모한다고 하였다. 열역학 제 2법칙은 고립계의 총 엔트로피는 증가해야만 한다고 진술한다. 도깨비는 기체와 상호작용하기 때문에 우리는 반드시 기체와 도깨비를 함께 포함하는 계(system)의 엔트로피를 고려해야 한다. 도깨비에 의한 에너지 지출은 도깨비의 엔트로피 증가를 낳고, 이것은 기체의 줄어든 엔트로피보다 클 것이다. 예를 들면 만약 도깨비가 플래시 빛을 사용하여 분자의 위치를 파악한다면 플래시의 건전지는 낮은 엔트로피를 가진 장치이고 화학작용이 일어날 것이다. 건전지의 에너지는 광자를 제거하는 데 쓰인다(광자의 엔트로피도 계산되어야 한다). 그리고 건전지의 엔트로피도 증가할 것이고, 증가된 엔트로피는 기체의 줄어든 엔트로피보다 클 것이다.
정보 엔트로피
무손실 압축은 압축된 메시지를 복원함으로써 원래 메시지를 온전히 복원할 수 있음을 의미한다. 무손실 압축된 메시지는 원본 메시지와 정보량은 같지만 더 적은 문자를 가진다. 많은 정보량은 높은 엔트로피를 가지고 있다는 말과 같다. 중복성이 거의 없다는 뜻이다. 개략적으로 말해서, 섀년의 소스 코딩 정리는 무손실 압축이 문자 1비트가 1비트 이상의 정보를 포함하도록 할 수는 없지만, 어떤 코딩 방법에 의해 문자 1비트당 1비트 이하만큼의 정보를 포함하도록 할 수 있다고 말한다. 비트당 메시지의 엔트로피와 메시지 길이의 곱은 전체 메시지가 얼마나 많은 정보를 담고 있는지를 알려준다.
레니 엔트로피
밀도 행렬 formula_3로 주어진 양자 상태의 "n"-레니 엔트로피 formula_4는 다음과 같다.
여기서 formula_6이라고 하고 formula_7 극한을 취하면 테일러 급수 전개를 통해
이므로, 폰 노이만 엔트로피를 얻는다.
정보 이득
정보 이득의 기댓값은 X와 A의 상호의존정보 I(X; A)이다. 즉 무작위 변수 A의 상태를 관찰함으로써 얻어지는 X의 엔트로피 감소이다.
블랙홀 열역학
야코프 베켄슈타인(, )이 1972년에 블랙홀이 엔트로피를 가진다고 제안하였다. 그 뒤 스티븐 호킹이 실제로 블랙홀이 특정 온도에 해당하는 흑체 복사를 방출한다는 사실을 증명하였다. 1996년에 앤드루 스트로민저와 캄란 바파가 끈 이론을 사용하여 초대칭 블랙홀의 엔트로피를 직접 계산하였다.
전송 (컴퓨팅)
이 단위는 시스템의 내부 클럭 속도와는 다르게 시스템 또는 부품의 외부로부터 인지되는 전송수를 말하거나 '실질적인' 전송의 수를 말한다.
DDR SDRAM을 예로 들자면, 내부 클럭이 100 MHz로 동작되어도, 실제로는 200 MT/s의 초당 전송수를 가진다.
정보 과다
정보 과다(情報過多, )는 정보가 너무 많아서 문제 및 의사 결정을 이해하기 어려운 것을 가리킨다. 이 용어는 앨빈 토플러가 그의 1970년 베스트셀러 책 《미래의 충격》을 통해 대중화되었지만 벌트람 그로스의 1964년 책 《The Managing of Organizations》에도 언급되어 있다. (Speier et al. 1999년)
블랙홀
1971년, 호킹은 일반적 상황에서 고전적 블랙홀의 사건의 지평선의 총 면적은 어떠한 경우에도 감소하지 않으며, 심지어 충돌하거나 융합할 때도 그러하다는 것을 보였다. 이것을 오늘날 블랙홀역학 제2법칙이라고 부르는데, 이는 계의 총 엔트로피가 절대 감소하지 않는다는 열역학 제2법칙과 놀랄 만큼 유사하다. 그전까지 절대영도의 온도를 가진 고전적 천체로서 블랙홀은 0의 엔트로피를 가진다고 생각되었다. 그러나 만일 그렇다면 엔트로피를 가진 물질이 블랙홀로 들어갈 때 우주의 총 엔트로피가 감소함으로써 열역학 제2법칙이 위반되게 된다. 하여 베켄슈타인은 블랙홀도 엔트로피를 가져야 하며, 그 크기는 사건의 지평선의 면적에 비례한다고 주장했다.
입력
컴퓨터의 경우, 이를테면 컴퓨터 키보드로부터 키를 받아 컴퓨터에 문자를 제공한다. 컴퓨터 과학에서는 물리적으로 또는 자동으로 시스템(컴퓨터)에 데이터를 추가하는 것이다. 입력은 인간과 장치 사이에만 한정된 것이 아니라, 장치끼리도 서로 입력하거나 입력 받을 수 있다. 기억 장치에서 처리 장치에 정보를 입력하는 것을 예로 들 수 있다. 다시 말해, 데이터의 읽기도 입력이라고 말한다.
혁신의 전파
혁신의 전파(革新- 傳播, )는 사람들이 신기술문명을 받아들이는 데에는 일정패턴이 있다는 이론이다. 최신 기술을 빨리 습득하는 사람들은 흔히들 얼리어답터라고 설명하는데 바로 혁신의 전파론에 입각한 것. 당초 아이오와주립대(IOWA State University)에서 농경제학을 공부하고 있던 라이언(Ryan)은 1943년 아이오와(IOWA) 지역 농부들에게 병에 강한 옥수수 씨앗을 전파하는 과정에서 일부 농부들은 남들보다 빨리 받아들여서 부농의 꿈을 일구지만 나머지는 뒤따라가고 또 일부는 뒤늦게 쫓아온다는 사실을 발견, 정리 발표했다. 커뮤니케이션 학자인 에버렛 로저스(Everett Rogers, 1962)는 이러한 패턴이 단지 농부들의 씨앗전파뿐만 아니라 모든 커뮤니케이션 기술의 전파속도에는 일정한 패턴이 있다는 것으로 발전시켜 오늘날에 이르게 됐다. 기술을 누가 먼저 받아들이냐에 따라, 혁신가(innovator), 얼리 어답터(Early Adopter), 초기 다수자(Early Majority), 후기 다수자(Late Majority), 늦깍이(Laggards)등으로 구분한다.
중입자수
색과 맛깔에 관계없이, 모든 쿼크의 숫자를"n", 모든 반쿼크의 숫자는 "n"로 한다. 쿼크 이외의 모든 기본입자는 중입자수가 0이다. 중입자수를 쿼크의 수가 아니라 ⅓로 정의하는 이유는 색가둠에 따라 쿼크가 독립적으로 존재하지 않아 편의를 위한 것이다. 이렇게 정의하면 모든 중입자는 중입자수 1을 가지고, 반중입자는 −1, 중간자와 렙톤은 0이다. 만약 펜타쿼크가 존재한다면 중입자수는 1이고, 테트라쿼크와 글루볼의 중입자수는 0이다.
결정 트리 학습법
ID3, C4.5 그리고 C5.0 트리 생성 알고리즘에서 사용되고 있다. 정보 획득량(information gain)은 정보 이론의 엔트로피의 개념에 근거를 두고 있다.
블랙홀
한 가지 혼란스러울 수 있는 점은 보통의 엔트로피는 계의 부피와 선형의 관계를 갖는 크기 성질인 데 반해 블랙홀의 엔트로피는 그 부피가 아닌 면적에 비례한다는 사실이다. 이 특이함을 설명하기 위해 헤라르뒤스 엇호프트와 레너드 서스킨드는 시공간상의 어떤 부피 안에서 일어나는 일은 그 부피의 경계의 데이터로 설명될 수 있다는 홀로그래피 원리를 제안했다.
평균
산술평균은 중앙값이나 최빈값과 종종 혼동되곤 한다. 이 평균은 값들이나 분포의 산술적인 평균을 의미하며 기울어진 분포에 대해서는 중앙값이나 최빈값과 보통 다르다. 예를 들어 평균 수입의 경우 적은 수의 사람이 매우 큰 수입을 갖고 따라서 평균 이하의 사람 수가 더 많다. 하지만 중앙값의 경우 정확히 반은 더 큰 수입을 갖고 나머지 반은 더 작은 수입을 갖는다. 최빈값의 경우에는 가장 많이 나타나는 값을 말하므로 수입이 적은 쪽에 가깝다(수입이 적은 사람이 많으므로). 중앙값과 최빈값은 종종 데이터에 대한 직관적인 척도가 된다.
엔트로피
formula_21은 특정 온도 formula_22에서 시스템의 에너지 중에서 일로 변환할 수 없는 에너지를 나타낸다. 따라서 전체 에너지에서 formula_21를 뺀 양이 자유 에너지가 된다.
정보 엔트로피
그러므로 획득을 증가시켜 불확실성을 감소시키는것은 변수가 줄어드는것으로 볼수있는데 이것은 결과적으로 엔트로피의 크기를 감소시는 정보 이득과 관계있다.
로그
총합은 용기 안의 기체 입자들의 위치와 같이 모든 가능성에 대한 i 값들의 합이다. 덧붙여서 p는 상태 i 가 가지는 확률이고 k는 볼츠만 상수이다. 비슷하게, 엔트로피는 정보 이론에서 정보의 측정을 뜻한다. 만약 메시지를 각각의 수령인이 받을 확률이 1/N 이라면 정보의 양은 각각의 사람에게 log2(N) 바이트이다.
정보 엔트로피
정보 엔트로피의 정의를 이해하기 위해서, 이산균등분포의 엔트로피를 계산해 보자. 표본 공간이 총 "n"개의 서로 다른 값들로 이루어진다면, 확률 질량 함수는
이다.
온도
정해진 온도 기준에 기반하는 일반적인 온도의 정의는 19세기 중반 열역학이 발전하여 온도와 열, 엔트로피에 대한 이해가 되기 전까지 확립이 되었다. 이때의 온도의 기준은 보통 열용량, 부피팽창, 흑체복사등에 기초하여 왜 그런지는 알지 못하지만 관계가 있는 물리량들에 기초하여 선형적으로 정의를 하였다. 반면 열역학이 발전하면서 열역학적 정의의 온도는 일반적인 온도의 정의와 다르게 그 자체로 기초적인 물리법칙과 물리량에 연관이 되어 물리적으로 큰 의미를 지니게 되었다. 열역학적 정의의 온도는 일반적인 온도의 정의와 다르게 그 자체로 물리적으로 큰 의미를 지니게 되지만, 이론에 기초하여 정의가 되므로 실제로 정확하게 측정하기에는 무리가 있다. 또한, 일반적인 온도를 정의할 때 사용되는 온도 기준을 열역학적 정의의 온도에서 따온다면 그렇게 정의된 일반적인 정의의 온도는 열역학적 정의의 온도와 같이 물리적인 의미를 가지게 된다. 이는 우리가 일반적인 정의의 온도와 열역학적 정의의 온도의 상호적인 필요성을 부각시킨다.
열용량
엔탈피는 다음과 같이 정의되므로, 엔탈피의 증가량은
이때, 내부에너지의 증가량에 앞서 구한 식을 대입하면,
정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.