对反向传播(BP)算法中收敛速度最快的改进版本Levenberg-Marquardt BP(LMBP)进行了研究,找出了收敛速度的瓶颈:迭代控制参数的初始化会严重地影响到算法的迭代次数;涉及的矩阵求逆是每次迭代中最耗时的计算;如果每次迭代中的误差平方和没有变小,该次迭代可能需要很长时间.本文通过上下三角(LU)分解去除耗时的矩阵求逆,并采取一维搜索来加速目标函数值的下降,使得LMBP不再依赖于迭代控制参数,从而提出了一种快速神经网络算法QLMBP.QLMBP算法的收敛速度比LMBP算法快100倍左右.
BP算法 Leyenberg-Marquardt算法 上下三角(LU)分解 Marquardt灵敏度矩阵