近年来,深度学习在无参考图像质量评价领域的应用获得了广泛的关注.然而,复杂的双目视觉机制和立体图像的多维特性使得立体图像的质量评估更具有挑战性.基于人类视觉皮层的交互作用,提出一个多级表示网络用于无参考立体图像质量评价.为了克服缺乏具有主观质量分数的大规模训练数据问题,将图像的主观平均意见分数分配给图像中的所有小图像块.同时,考虑到大量来自同质区域的图像块会混淆网络训练和质量分数预测过程,采用基于方差的阈值指标来过滤部分同质图像块.多级表示网络由初级子网和高级子网两部分组成,在初级子网中,将视差图加入网络构成三通道卷积神经网络,分别提取并交互立体视图和视差图的初级特征;在初级子网的输出端,将特征分别级联得到基于视差的交互式双目特征和无视差交互的单眼特征;高级子网采用二通道卷积神经网络,进一步提取高级融合特征信息,更好地模拟人类视觉系统的信息处理机制.最终,所提出的多级表示网络不仅提取了立体图像的单眼特征,还提取了基于视差/深度信息的双目特征.在公开的LIVE 3D PhaseⅠ和LIVE 3D PhaseⅡ数据库上进行测试,实验结果表明该网络在对称和非对称立体图像数据库上较其他方法均取得了较好的结果,能够与人类的主观感知保持良好的一致性.
立体图像质量评价 多级表示网络 视差 人类视觉系统