정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
기댓값 최대화 알고리즘
상황에 따라서는, 기댓값 최대화 알고리즘을 다음의 두 최대화 단계로 보는 것이 편리하다. "q"는 미관측 데이터 "z"를 나타내는 임의의 확률 분포, "p"(· |"x";"θ")는 관측 데이터 "x"가 주어졌을 때의 조건부 확률 분포, "H"를 엔트로피, 그리고 "D"를 쿨백-라이블러 발산이라고 할 때, 다음 식을 고려한다.