정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
조건부 무작위장
즉 예를 들면, 조건부 무작위장은 문자 a, b, c 가 연속적으로 나타났을 때, 문자 x, y, z 를 연속적으로 부여할(나타날) 확률을 의미한다고 할 수 있다. 여기서 y는 마르코프 성질을 만족하여야 한다. 그런데 만약 x의 집합과 y의 집합이 한정되어 있다면, 이 구조는 그래프 구조를 형성하게 된다. 일반적으로는 체인() 그래프 구조를 형성한다고 한다.조건부 무작위장 formula_5는 방향이 없는() 그래프 formula_6 혹은 마르코프 무작위장으로 간주할 수 있다. 만약, 입력 시퀀스에서 조건부 독립을 가정할 수 있다면, 이론적으로 그래프의 구조는 여러 가지 형태를 나타낼 수 있다. 하지만 응용에서는 일반적으로 formula_7에 해당되는 노드는 간단한 체인()의 형태를 나타내는 경우가 많다. 조건부 무작위장은 은닉 마르코프 모델(HMM, Hidden Markov Model)에 비하여 변수 독립성 조건이 필요 없는 장점이 있다고 한다. 또한 조건부 무작위장은 최대 엔트로피 마르코프 모델(MEMM, Maximum Entropy Markov Model)에 비하여 변수 치우침(bias)이 없는 장점이 있다고 한다. 다음은 조건부 무작위장의 정의이다.formula_6는 그래프 구조 이고, formula_9로서, formula_7는 그래프 formula_11의 정점()을 나타낸다고 하고 formula_12는 간선()이라고 하자. 만약 랜덤 변수 formula_13에 대하여 랜덤 변수 formula_14가 그래프에서 마코프 성질을 나타낸다면, 즉, formula_15 라면 formula_16는 조건부 랜덤 필드가 된다. (여기서 formula_17는 formula_18와 formula_19는 서로 이웃이라는 의미)효율적인 추론은 조건부 무작위장의 훈련 시 혹은 새로운 입력에 대한 레이블을 예측할때 매우 중요하다. 추론에 있어 크게 2가지 문제를 생각할 수 있다.