정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
은닉 마르코프 모델
그러므로, 두 단계의 모델은 독립적인 조절을 (1) 전체적인 전이 행렬의 밀도와 (2) 어느 전이가 가능할 지에 대한 상태의 밀도에 대해 가능하게 한다. 어느 특정 상황이 더 일어 날 지를 무시함을 가정해도 두 가지 경우에 이것은 실행된다. 만약 이 정보를 모델에 추가하는 것이 바람직하다면 확률 벡터 는 직접적으로 결정 될 수 있다. 만약 이 상대적 확률들에 확신이 적다면, 비대칭 가 에 대한 사전 분포로 쓰일 수 있다. 즉, 단일 모수 를 가지는 대칭 디리클레 분포를 사용하는 대신에(동치로, 모든 값이 인 벡터를 가지는 일반 디리클레), 어떤 상태가 더 혹은 덜 선호 되는 가에 따라 보다 다양하게 크거나 작은 값들을 가지는 일반적인 디리클레를 사용하는 것이다.