基于双流结构的异常行为检测模型 &nbsh1; 基于双流结构的异常行为检测模型 王梓舟 周新志 严 华 (四川大学电子信息学院 四川 成都 610065) 0 引 言 监控系统提供着不间断的监控视频，如此庞大的视频数据使用人工进行处理是效率低下并且困难的。所以自动的视频异常行为检测在近几年越来越多地得到学术界和工业界的关注。 在早期的工作中，研究人员通常使用人工设计特征来表征人体或者人群...
王梓舟 周新志 严 华
(四川大学电子信息学院 四川 成都 610065)
监控系统提供着不间断的监控视频，如此庞大的视频数据使用人工进行处理是效率低下并且困难的。所以自动的视频异常行为检测在近几年越来越多地得到学术界和工业界的关注。
在早期的工作中，研究人员通常使用人工设计特征来表征人体或者人群的行为。Laptev[1]提出了时空兴趣点的方法，其实质是将Harris角点从二维拓展到了三维。Mabrouk等[2]在时空兴趣点的基础上融合光流特征提出DiMOLIF描述子用以检测视频中的暴力行为。Mehran等[3]提出了社会力模型用以检测群体的异常行为。Zheng等[4]使用基于轨迹特征方法检测全局的异常行为。Wang等[5]使用基于光流特征的协方差矩阵进行异常行为的检测。这类方法所使用的特征通常需要经过提前的设计，且检测精确度仍需提高。
随着卷积神经网络的兴起，研究者也将其应用在视频异常行为检测问题上。人工特征由此转向深度网络特征。由于异常行为数据集规模较小，比较难以训练一个复杂的网络，部分工作尝试直接使用经典的深度网络结构解决问题，如Sabokrou等[6]利用在ImageNet上预训练好的AlexNet网络,而AlexNet并非专门针对异常行为问题而设计，所以还存在一定的局限性。另一种思路则是采用结构简单的网络进行训练，如Sun等[7]设计了一种两层的卷积网络提取输入图像特征，再利用OC-SVM(One-class SVM)对特征进行分类。
还有一种针对数据集规模较小问题的常见方法为自编码器(Auto-Encoder，AE)网络。Hasan等[8]使用二维Conv-AE的重建误差来判断异常行为的发生与否。Ribeiro等[9]尝试在2D AE中融合光流以及图像边缘特征。2D AE由于维度上的局限性，并不能很好地获得时域上的信息。为了更好地利用视频时域信息，Chong等[10]、Wang等[11]使用加入Conv-LSTM层的二维卷积AE，LSTM层的加入能够改善2D AE对时域特征提取的性能。Zhao等[12]提出了一种3D AE网络结构用以检测人群和交通中的异常行为。Yan等[13]尝试在2D AE中使用传统光流特征作为输入。取得了一定的进展，但仍有发展空间。此外，Ravanbakhsh等[14]也初步尝试在异常行为问题上使用GAN网络，并在特定数据集取得了不错的成效。
为进一步解决视频时域信息获取和利用的问题，本文设计一种双流网络结构，分别为网络分支以及时域分支。网络分支为3D自编码器，负责提取输入视频的时空特征；时域分支负责对输入视频的光流特征进行处理，提供额外运动信息，并使用改进的策略更好地与网络分支的重建结果进行融合。最终使用融合后的重建结果计算重建误差作为异常行为判断的依据。
此外，目前大部分工作所使用的像素级别评价指标来自Mahadevan等[15]的工作，该像素指标还存在一定的不足。针对这个情况，本文提出一种改进的像素指标。
整个模型的流程如图1所示。包含有两个分支：网络分支和时域分支。网络分支使用一个3D自编码器，提取连续视频帧的时空域特征，并重建输入，由于自编码器仅使用正常 样本 保单样本pdf木马病毒样本下载上虞风机样本下载直线导轨样本下载电脑病毒样本下载 进行训练，理论上对异常区域具有更高的重建误差。时域分支得到具有背景的光流结果。最终将两个分支的结果融合得到模型的最终输出，计算最终的重建误差，得到规律性得分并判断是否发生异常。
浙公网安备 33021202002483