上下文建模与推理的视频异常事件检测.pdfVIP

第47卷第10期计算机学报Vol.47No.10

2024年10月CHINESEJOURNALOFCOMPUTERSOct.2024

上下文建模与推理的视频异常事件检测

孙澈”武玉伟贾云得

1)（北京理工大学计算机学院智能信息技术北京市重点实验室北京100081)

2)（深圳北理莫斯科大学广东省智能感知与计算重点实验室广东深圳518172）

摘要视频异常事件检测旨在从视频中自动地检测出不符合正常事件规律的视频事件.视频中许多正常和异常

的事件是由目标与场景或其它目标交互而产生的，即它们是以目标为中心且高度上下文相关的.如何从底层的视

频特征中提取事件高层语义上下文信息，并根据上下文信息进行视频异常事件检测仍是一个开放的难题.为此，本

文提出了一种新的上下文建模与推理的视频异常事件检测方法.本文方法通过建立视频的上下文图，自动地推理

事件相关的语义上下文信息，以缩小底层视觉特征与异常事件高层语义之间的差距，实现异常事件检测.具体来

说，首先使用了预训练的目标检测网络，提取目标初始的表观特征、目标之间的时空关系特征和场景特征；其次设

计了一个上下文图推理模块，通过建模时空上下文图，将提取到的特征显式地建模为三类语义上下文，包括事件目

标的个体行为、不同目标之间的时空关系以及目标与场景之间的交互，其中图的节点表示目标/场景，图的边表示时

空关系；最后构建了一个异常预测模块，根据推理到的语义上下文信息进行异常事件检测.本文的上下文图推理模块

基于平均场理论，通过使用多个带有消息传递模块的循环神经网络，迭代更新图的节点和边的状态，目的是从底层

的视觉特征中推理得到高层的语义上下文，本文的异常预测模块包括注意力池化网络层和全连接网络层，通过输

人语义上下文信息，计算视频顿的异常分数，从而正确地进行异常事件检测.实验中，设计了一个自训练策略，分别

使用了无监督、半监督、弱监督和监督四种训练策略，以端到端的方式训练时空上下文图推理模块和异常预测模

块.本文方法在四个公开的数据集上进行了实验，包括三个半监督的数据集Subway和

ShanghaiTech，以及一个监督的数据集UCF-Crime.与不使用上下文的方法相比，本文方法在Subway

Exit）、Avenue和ShanghaiTech数据集上的无监督AUC

AUC指标分别提高了3.5%/3.3%、4.0%和4.3%.在监督数据集UCF-Crime上，与没有使用上下文的方法相比，

本文方法在半监督AUC、弱监督AUC和监督AUC

的表现。

关键词异常事件检测；上下文建模与推理；上下文图；自训练策略；深度学习

中图法分类号TP18D0I号10.11897/SP.J.1016.2024.02368

ContextModelingandReasoningforVideoAbnormalEventDetection

SUNChel)WUYu-Wei2),l)

JIAYun-De2),1)

D(BeijingKeyLaboratoryofInteligentInformationTechnology,SchoolofComputerScienceTechnology,

BeijingInstituteofTechnology,Beijing100081)

2)(GuangdongLaboratoryofMachinePerceptionandIntelligentComputing,ShenzhenMSU-BITUniversity,Shenzhen,Guangdong518172)

AbstractVi