근삿값
근삿값에 대한 오차의 절댓값이 어떤 값 이하일 때, 그 값을 근삿값에 대한 오차의 한계라고 한다.
기댓값 최대화 알고리즘
확률이 0이 아닌 formula_38를 만족하는 어떤 formula_2에 대해서, 다음과 같이 이야기할 수 있다:
formula_41를 formula_2에 대해서 합한 값(혹은 적분한 값)을 양변에 곱할 수 있다. 좌변은 상수인 기댓값이므로:
여기에서, formula_44는 음수의 합(negated sum)으로 정의된다.
마지막 식은 formula_45인 경우를 포함해서 모든 formula_36에 대해서도 성립한다.
이전의 식으로부터 이 마지막 식을 빼면,
이다.
하지만, 깁스 부등식(Gibbs' inequality)에 의해서 formula_49이다.
그러므로, 우리는 다음 결론에 도달할 수 있다:
그러므로, formula_51에 비해서 formula_34가 커지도록 formula_36을 선택하면, 최소한 그 이상으로 formula_54에 비해서 formula_33가 향상될 것이다.