高い精度を実現するために必要なものは何か？
我々は、半教師あり学習を用いた一種の知識蒸留手法を提案する。これは、高性能な教師モデルを用いて生成された出力の一部を、より小さなサイズの生徒モデルに伝達させることにより、精度を向上させるものである。さらに、本手法により、膨大な量の教師データがなくとも、高い精度を実現することができることが示された。
高性能な教師モデルを用いた生成された出力の一部を、より小さなサイズの生徒モデルに伝達することにより、精度を向上させることです。また、膨大な量の教師データが必要なくても高い精度を実現することができます。