정보 엔트로피
요약 : 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
랜덤 포레스트
훈련 단계에서 트리의 각 노드는 들어오는 데이터 포인트들을 최적으로 분리하기 위해 정보 획득량()을 측정 기준으로 사용한다. 구체적으로 각 노드에서 정보 획득량(신뢰, confidence)을 최대화하는 것이다. 정보 획득량은 다음과 같이 정의된다.
여기서, formula_22는 한 노드에 도달하는 데이터 집합을, formula_23는 이 노드의 formula_24, 왼쪽 혹은 오른쪽 방향 자식 노드로 들어가는 데이터 집합을 나타낸다(formula_22와 formula_23의 관계식은 훈련과 테스트 과정 참조). 또한, formula_27와 formula_28는 각각 데이터 집합에 속한 데이터 개수와 섀넌 엔트로피()를 가리킨다.
위 수식에서 볼 수 있듯이, 정보 획득량을 최대화하기 위해서는 결국 섀넌 엔트로피가 최소화 되어야 한다. 섀넌 엔트로피는 확률 변수의 조합으로 정보원(여기서는 formula_22)에 대한 불확실성을 보여주는 것으로 아래와 같이 정의된다.
여기서 formula_31는 전체 부류() 집합을 나타내며, formula_32는 각 부류에 대한 확률 질량 함수이다.