근삿값
근삿값에 대한 오차의 절댓값이 어떤 값 이하일 때, 그 값을 근삿값에 대한 오차의 한계라고 한다.
편향-분산 트레이드오프
우리는 실제 관계함수인 formula_7를 학습 알고리즘을 통해 최대한 잘 근사한 근사함수 formula_8를 찾고자 한다. 여기에서 말하는 "최대한 잘"이란 정량적으로 formula_9 와 formula_8 사이의 평균 제곱 오류(mean squared error)를 측정하여 그 값이 가장 작은 것을 찾는 것을 말한다. 얻어진 근사함수가 트레이닝 데이터 셋 내부의 평균제곱오차 뿐만이 아니라 외부로 일반화 된 범위에서도 평균제곱오차가 최소라면 이상적일 것이다. 하지만 formula_9에 formula_5라는 노이즈가 내재된 만큼 우리가 어떤 함수를 찾아내든 오차는 불가피하다.