Hinton’s KD


## Hinton’s Knowledge Distillation
**작은 모델의 성능 향상에 매우 효과적**
작은 모델이 큰 모델보다 더 적은 파라미터를 가지고 있지만, 큰 모델과 유사한 성능을 발휘할 수 있도록
큰 모델과 작은 모델을 함께 교육시키는 방식
큰 모델의 출력 분포를 작은 모델이 따르도록 하는 Distillation loss를 사용








