ニューラル・ネットワーク(neural network)において、古典的なシグモイド関数ではなくReLU活性化関数を使用する利点は何ですか？
1.勾配消失問題:シグモイド関数の微分の最大値は0.25であり、逆伝播の際に勾配の総和が非常に小さくなってしまうことがあります。一方、ReLUは正入力に対して一定の勾配1を持っています。
2.計算の効率化ReLUはmax(0, x)を用いて計算することができ、シグモイド関数の指数演算よりも効率的です。
3.収束速度:ニューラル・ネットワーク(neural network)の活性化関数としてReLUを使用した場合、シグモイド関数を使用した場合よりも収束速度が速いことも報告されています。