人体行为识别是智能监控、人机交互、机器人等领域的一项重要的基础技术.图卷积神经网络(GCN)在基于骨骼的人体行为识别上取得了卓越的性能.不过GCN在人体行为识别研究中存在以下问题:1)人体骨架的骨骼点采用坐标表示,缺乏骨骼点的运动细节信息;2)在某些视频中,人体骨架的运动幅度太小导致关键骨骼点的表征信息不明显.针对上述问题,首先提出骨骼点的时序散度模型来描述骨骼点的运动状态,从而放大了不同人体行为的类间方差.并进一步提出了时序散度特征的注意力机制,以突显关键骨骼点,进一步扩大类间方差.最后根据原始骨架的空间数据特征和时序散度特征的互补性构建了双流融合模型.所提算法在权威的人体行为数据集NTU-RGB+D的两种划分策略下分别达到了82.9％和83.7％的准确率,相比自适应图卷积网络(AGCN)提高了1.3个百分点和0.5个百分点,准确率的提升证明了所提算法的有效性.