Random Forest


배깅(bagging)을 적용한 의사결정나무(decision tree)의 앙상블

트리를 생성할 때, 각 노드는 랜덤하게 특성(feature)의 서브셋(자식 노드를)을 만들어 분할한다.

**엑스트라 트리**
(Extra-Trees)는 트리를 더욱 랜덤하게 생성하기 위해 노드를 분할하는 최적의 임계값을 찾는 것이 아니라 후보 특성을 이용해 랜덤하게 분할한 다음 그 중에서 최상의 분할을 선택하는 방법이다. 랜덤 포레스트 처럼 각 노드의 특성마다 최적의 임계값을 찾는것이 아니기 때문에 엑스트라 트리가 훨씬 학습 속도가 빠르다
**쉽게말해 트리별로 특성에 따라 목표만 찾아서 빠름**




랜덤 포레스트의 장점은 특성(feature)의 상대적인 중요도를 측정하기 쉽다는 것이다. Scikit-Learn에서는 어떠한 특성을 사용한 노드가 불순도(impurity)를 얼마나 감소시키는지를 계산하여 각 특성마다 상대적 중요도를 측정한다.
### 예를들어 픽셀별 중요도 나타낼 수 있음

![](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fac057740-ec65-4928-a839-84b0f8451512%2FUntitled.png?table=block&id=b9c6d3da-a3be-43a0-bc9d-9aa10e55b0b7&cache=v2)
mnist 픽셀별 중요도

[불순도](https://texonom.com/14c2866368974d6fa82b764ef56eed7f)






