相比于传统机器学习算法,卷积神经网络"端到端"的黑盒特性使其内部工作机制缺乏透明性和可解释性,导致其在某些安全性要求较高的领域受到一定限制.为此,提出一种基于注意力机制的卷积神经网络可视化方法,用于可视化解释卷积神经网络中间层所学特征.该方法首先将注意力机制添加到网络结构中,跟随网络一起训练;然后,获取训练后模型的最高层特征图,并使用双线性插值将其放大到输入图像大小;最后,将处理后的特征图与输入图像叠加形成热力图,用于定位输入图像的关键区域,实现对卷积神经网络所学特征的理解和解释.在CIFAR10数据集上实验结果表明,相比于直接对特征图进行可视化,基于注意力机制的可视化方法能够更准确地定位目标的关键特征,从而帮助理解卷积神经网络所学特征.
卷积神经网络 可解释性 可视化 注意力机制 热力图