在神經網路中使用 ReLU 啟用函式比經典的 sigmoid 函式有什麼好處?
一個. 梯度消失問題:西格<unk>函式導數的最大值為0.25,這可能導致總梯度在反向傳播時變得非常小. 相比之下,對於正輸入,ReLU的梯度是1的. 2. 沒有 計算效率:ReLU可以使用max(0,x) 來計算,比Sigmoid函式中的指數運算更有效. 3. 沒有. 收<unk>速度:據報道,使用ReLU作為神經網路中的啟用函式比使用sigmoid函式更快地收<unk>.