为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU).ThLU函数正半轴来自于ReL U函数的正半轴,负半轴来自于tanh函数的负半轴.为验证ThLU函数的性能,基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上迸行了试验验证.结果表明:基于ThLU函数训练得到的神经网络模型比基于tanh、ReLU、泄露修正线性单元(LReLU)和指数线性单元(E L U)训练得到的神经网络模型具有更高的准确率、更低的损失.
激活函数 双曲正切函数 修正线性单元 泄露修正线性单元 指数线性单元 深度学习